1 место AI Copywriter: Зарабатываем деньги с помощью нейронной сети GPT3

[Viking01]

*** Обновляемый пост

Парни, я тут немного заморочился, написал инструкции и записал видео.
Надеюсь поможет.


I. Установка на чистую систему.

В качестве жертвы берём -

• отдельно стоящий комп, без студии и специализированных дистрибутивов,
• ставим на него Zennoposter 7.4.0, даже в видео видно приветственное сообщение о первом запуске.

Шаг 1. Устанавливаем Python 3.7.0RC1 и Microsoft Visual C++ 2015-2019

1. Устанавливаем Python 3.7.0.
Прямая ссылка: скачать / cloud.mail.ru

2. Устанавливаем Microsoft Visual C++ 2015-2019
Прямая ссылка: скачать / cloud.mail.ru


Шаг 2. Пробуем запустить и получаем ошибку - не подтягивается одна из зависимостей.

1. Устанавливаем Microsoft C++ Build Tools
Прямая ссылка: скачать / cloud.mail.ru
Ссылка из видео проверить, какие компоненты ставить: посмотреть.

В Командной строке установка зависимости 'dependency_decoding':
pip install git+https://github.com/andersjo/dependency_decoding

***Может потребоваться еще git.
Как поставить:
1. Вариант 1 - простая инструкция по установке.
2. Вариант 2 - поставить Github Desktop отсюда: GitHub Desktop | Simple collaboration from your desktop
У него есть удобный интерфейс.


Шаг 3. Запускаем шаблон снова - и он работает.

А дальше - играемся с параметрами ... ) И конструируем свои шаблоны ...




II. Если что-то не работает, или troubleshoooting...
*** будем собирать и дополнять по мере выявления.

(!)Если ты читал внимательно первый пост, то помнишь, что тут используется Питон и зависимости.
Практически 3/4 проблем из-за него:
- не установлен,
- не добавлен в системную переменную PATH при установке,
- не снято ограничение на длину пути в Windows
- не подтянулись зависимости,
и прочее.

И есть процент систем, на которых он просто не запустится без шаманства.
Да, я сначала решил потестировать на одном офисном серваке - и на нем не пошло, представляешь?
Это была ошибка - не подтягивается модуль tensorFlow.
Ну, как исправить в теории - инструкция есть, я ее тут оставлю, но у меня терпения не хватило еще и ее ковырять.


Как получить полный текст ошибки?

Кликнуть Правой клавишей мыши по сообщению -> Скопировать сообщение -> Вставить в любой текстовый редактор



Как увеличить скорость работы шаблона?
Скорость зависит от мощности железа и выбранных параметров.
Особенно от параметра length.
Можно публиковать в этой теме - с какими параметрами запускали и что получилось.
Да, и не забываем, что тут у нас и так много костылей - и чтобы запустить питон из шарпа, и запустить шарп из зенки
Это тоже накладывает свой отпечаток

Спойлер: Ошибка tensorFlow: DLL load failed

Вот какой текст выдает эта ошибка:

Спойлер: Текст ошибки

 Ru-генератор вызвал ошибку - Traceback (most recent call last):
  File "C:\Python37\lib\site-packages\tensorflow_core\python\pywrap_tensorflow.py", line 58, in <module>
    from tensorflow.python.pywrap_tensorflow_internal import *
  File "C:\Python37\lib\site-packages\tensorflow_core\python\pywrap_tensorflow_internal.py", line 28, in <module>
    _pywrap_tensorflow_internal = swig_import_helper()
  File "C:\Python37\lib\site-packages\tensorflow_core\python\pywrap_tensorflow_internal.py", line 24, in swig_import_helper
    _mod = imp.load_module('_pywrap_tensorflow_internal', fp, pathname, description)
  File "C:\Python37\Lib\imp.py", line 243, in load_module
    return load_dynamic(name, filename, file)
  File "C:\Python37\Lib\imp.py", line 343, in load_dynamic
    return _load(spec)
ImportError: DLL load failed: Произошел сбой в программе инициализации библиотеки динамической компоновки (DLL).


Failed to load the native TensorFlow runtime.

See https://www.tensorflow.org/install/errors

for some common reasons and solutions.  Include the entire stack trace
above this error message when asking for help. ...

Причина
- есть пакет tensorFlow, который скомпилирован на работу c CPU и есть с поддержкой GPU. Текущие версии 2+ содержат все в одном, но мы используем версию 1.15, а там они разные.
- второй вариант - проц старый, не поддерживает AVH инструкции.

Сведения об установке пакетов на сайте производителя: https://www.tensorflow.org/install/pip
Инструкция как обойти эти ограничения: посмотреть на stackOverflow

Спойлер: Ошибка No module named 'dependency_decoding'

Спойлер: Текст ошибки

Результат проверки зависимости  git+https://github.com/andersjo/dependency_decoding : Collecting git+https://github.com/andersjo/dependency_decoding
  Cloning https://github.com/andersjo/dependency_decoding to c:\users\59874\appdata\local\temp\pip-req-build-g9jpv88h
  Resolved https://github.com/andersjo/dependency_decoding to commit 79510908223b93bd4c1fb0409a2a66dd75577c2c
Building wheels for collected packages: dependency-decoding
  Building wheel for dependency-decoding (setup.py): started
  Building wheel for dependency-decoding (setup.py): finished with status 'error'
  Running setup.py clean for dependency-decoding
Failed to build dependency-decoding
Installing collected packages: dependency-decoding
    Running setup.py install for dependency-decoding: started
    Running setup.py install for dependency-decoding: finished with status 'error'

Сам с ней столкнулся во втором видео.
Ставим Microsoft C++ Build Tools (ссылка выше)

После выполняем в Командной строке установку зависимости 'dependency_decoding':
pip install git+https://github.com/andersjo/dependency_decoding

Спойлер: Ошибки, связанные с модулем *bert

Как выглядит текст ошибки - я не знаю, у меня не воспроизводилась.

Пробуем переустановить зависимости. Они все из пакета deeppavlov
Выполняем в Командной строке:

# устанавливаем сам пакет deeppavlov
pip install deeppavlov

# устанавливаем модуль
python.exe -m deeppavlov install squad_bert

Спойлер: Ошибка Разблокировать сборку

Как выглядит:

Решение нашел sambukanuka тут: https://zennolab.com/discussion/threads/ai-copywriter-zarabatyvaem-dengi-s-pomoschju-nejronnoj-seti-gpt3.95889/post-641245

Спойлер: Ошибка Не найден python.exe, pip

Как выглядит:
Не найден установленный C:\Python37\python.exe
Ошибка обновления pip - Неверно задано имя папки

Не находит питон.

Или:

• не добавлен в системные переменные при установке - процесс установки есть в видео,
• или в настройках шаблона неверно указан путь к папке с python

Что делать? - Процедура установки питона показана в первом видео

Спойлер: Ошибка Не найден Git

Как выглядит:

Если вчитаться - то не найдена команда git.

Как решить:
1. Вариант 1 - простая инструкция по установке.
2. Вариант 2 - поставить Github Desktop отсюда: GitHub Desktop | Simple collaboration from your desktop
У него есть удобный интерфейс.

 

[Mixis]

Ошибка обновления pip - Неверно задано имя папки

 

[Viking01]

*** вынес в отдельный пост, думаю добавить еще примеров.

Кто затестит шаблон, скиньте потом пару текстов.

Примеры текстов на рерайт:

Запрос	Результат
Нейронет (NeuroNet) – один из предполагаемых и наиболее вероятных этапов развития Интернета. На новом этапе развития всемирной паутины взаимодействие участников будет осуществляться на принципах нейрокоммуникаций, т.е. на основе передачи информации об активности головного мозга. Ученые прогнозируют формирование рынка Нейронета к 2030-2040 г.	Интернет – это будущее человечества. В сети Интернет будут появляться люди с разными интересами и возможностями. Если в голове у человека есть мысль, то она обязательно материализуется. При этом будет происходить не просто взаимодействие между людьми, а взаимодействие на основе нейрокоммуникаций. Рынок нейронета к 2030-2040 г. ...
Две популярные парадигмы в области машинного обучения. Первые совершили настоящую революцию в области обработки больших объемов данных, дав начало новому направлению, получившему название глубинное обучение.	Две популярные парадигмы в области машинного обучения. Настоящая революция – это когда ты получаешь информацию, которая не может быть получена другими способами.
Нейронная сеть помогает писать тексты.	Нейронная сеть поможет писать книги, фильмы и музыку. Это так же просто, как и писать на доске.
If you want to create robust, browser-based regression automation suites and tests, scale and distribute scripts across many environments, then you want to use Selenium WebDriver, a collection of language specific bindings to drive a browser - the way it is meant to be driven.	Результат: En-Generator-Example1 - Pastebin.com P.S. Какой аналог сделает такую статью, да еще с примерами кода?) Ну правда?)
It was a bright cold day in April, and the clocks were striking thirteen. Winston Smith, his chin nuzzled into his breast in an effort to escape the vile wind, slipped quickly through the glass doors of Victory Mansions, though not quickly enough to prevent a swirl of gritty dust from entering along with him.	"It was a bright cold day in April, and the clocks were striking thirteen," said Winston to Winston. "Winston Smith, his chin nuzzled into his breast in an effort to escape the vile wind, slipped quickly through the glass doors of Victory Mansions, though not quickly enough to prevent a swirl of gritty dust from entering along with him. "He was on my way home," said Winston in his best, and he was glad. It was a warm winter day with the snow still on his face, and he looked out at his friends. "I was just sitting by my side. I was thinking, 'Why are you here?' " And the thought was that he would find them. He was going to find them again, to help them get back home, to help his mother get through a difficult period of her life. The only question was, what if his mother got back home, too? "I was thinking," he said, "why are you here? I'm not going to do this to my mother, but I'm going to help them get back home." He did not know that, in any way, he had done the opposite. "The only thing I want for myself is to be here with my family," said Winston, as his mother came to the front door in tears from her own pain and her own pain. "To be safe and to be here and to have this chance to help my mother and my friends and to help them get back home. I just want to be here to help my mother's and my friends' and just get back home." Winston's tears filled his mouth. He was in a place of sorrow. "It's not just my mother's that are going to be affected, and it doesn't have to be the same, but it is the other way around. I'm going to help my mother, and I can't help myself. I'm going to help my mother and my friends, but we need to do this together. We have to do this together, and we have to do this together because I want to help my own mother and my friends and to help myself, so I have to do this together with my mother and my friends and to try and help others. But the only way I'm going to do this is through my mother, my mother. I need to be here with my mother now. I need to be with my mother, and I need to be with my
На мой взгляд, лето – прекраснейшее время года, поскольку очень тепло, вокруг все красиво, и у нас имеется отличная возможность отдохнуть. А еще лето – это время каникул и отпусков. Мы можем отправиться куда угодно, замечательно провести время у водоема, в тени изумрудной зелени, плескаться в теплой воде. А можно отправиться в горы, носиться на велосипеде или играть во всевозможные игры.	У нас есть прекрасная возможность отдохнуть! Летом все отдыхают, а мы работаем. Если у нас будет время, мы можем отправиться куда угодно. У меня нет друзей, у меня нет работы, у меня нет денег.
Он шел по желтому песку, нагретому дневным палящим солнцем. В то же время он испытывал странное чувство, будто в нем течет кровь другого человека. Не было никаких сомнений в том, что он жив, пока он не появился из-за холма и не направился прямо на нас. При этом лейтенант испытывал странное чувство: будто он не один, что кто-то рядом.	Лейтенант шел по желтому строительному песку, нагретому дневным палящим солнцем. Он был мокрым от кончиков пальцев до кончиков волос, все его тело было усеяно царапинами от острой колючей проволоки и ныло от сводящей с ума боли, но он был жив и направлялся к командному штабу, который виднелся на горизонте метрах в пятистах.
Пример от sambukanuka (zennolab.com)	Прикольный специфический текст на ру и его результат тут: https://zennolab.com/discussion/threads/ai-copywriter-zarabatyvaem-dengi-s-pomoschju-nejronnoj-seti-gpt3.95889/post-641613
Пример от Danko33 | ZennoLab - Сообщество профессионалов автоматизации *** Сгенерировано GPT3 вообще. Но не с помощью шаблона из этой темы. Но все равно классно!	Нехилая жизненная история: https://zennolab.com/discussion/threads/ai-copywriter-zarabatyvaem-dengi-s-pomoschju-nejronnoj-seti-gpt3.95889/post-641676
Текст про КОВИД (рерайт википедии) Коронавирусная инфекция (COVID-19) – это инфекционное заболевание, вызванное вирусом SARS-CoV-2. У большинства заболевших COVID-19 наблюдаются легкие или умеренные симптомы, выздоровление происходит без специфического лечения. Однако у некоторых людей заболевание протекает в тяжелой форме, и им требуется медицинская помощь. КАК РАСПРОСТРАНЯЕТСЯ ЗАБОЛЕВАНИЕ Вирус может передаваться с каплями слюны изо рта или выделениями из носа инфицированного человека во время кашля, чихания, разговора, пения или дыхания. Размер частиц жидкости может быть разным: от крупных респираторных капель до более мелких аэрозольных частиц. Заразиться вирусом можно воздушно-капельным путем, находясь в близости от человека с COVID-19, или в результате переноса вируса руками с зараженной поверхности на слизистые оболочки глаз, носа или рта. Вирус легче распространяется в закрытых и переполненных помещениях.	Если в организме есть коронавирус – значит, есть и коронавирусная инфекция. Интересно, что это единственный вирус, который может передаваться человеку воздушно-капельным путем.У большинства заболевших, но не у всех. У некоторых людей болезнь протекает в тяжелой форме.Как передается вирус. Что такое пыль? -.Если в глаз попала инфекция, то она может быть занесена через слизистую оболочку глаза. Это так называемое заражение с помощью слюны. Если ты в толпе и у тебя есть возможность не дышать, не надо дышать. При этом вирус может находиться в воздухе до 6 ч.

 

[Viking01]

Python 3.9.7 не подойдет?

Не должен. Но я не пробовал.

Не найден установленный C:\Python37\python.exe

Ошибка обновления pip - Неверно задано имя папки

Не находит питон.
Или
- не добавлен в системные переменные при установке - процесс установки есть в видео,
- или в настройках шаблона неверно указан путь к папке с python

 

[Viking01]

Всё хочу изучить ML.NET, да никак руки не дойдут.

Вероятностное программирование - оно такое... мозг свернёшь)
Но с интерпретатором питона в сишарпе - можно CatBoost запустить.
Там тоже много интересного)

 

[backoff]

А можно взять статью например 5к символов и посмотреть какой будет результат?
сложно пока понять результат по 3м строчкам.
Ну я к тому что можешь такой пример выложить. исходник и что стало. взять абсолютно любой текст

 

[sambukanuka]

Спойлер: Ошибки, связанные с модулем *bert

Как выглядит текст ошибки - я не знаю, у меня не воспроизводилась.

Пробуем переустановить зависимости. Они все из пакета deeppavlov
Выполняем в Командной строке:

# устанавливаем сам пакет deeppavlov
pip install deeppavlov

# устанавливаем модуль
python.exe -m deeppavlov install squad_bert

из под какой папки надо запускать C:\Python39\Scripts?

 

[Viking01]

Из под любой потому что они все в системную переменную добавлены. И винда по ним по всем ищем исполняемый файл
только зачем питон 3.9?
Ну попробуй сначала именно с тем что я запустил

 

[ExRich]

https://zennolab.com/discussion/attachments/1631744964517-png.82836/ https://zennolab.com/discussion/attachments/1631744704021-png.82835/
КАК ИСПРАВИТЬ?

 

[Astraport]

Эх, жаль, думал GPT-3 и смогу экономить на платных сервисах.
А это GPT-2, модель юзают уже второй год. Эта генеренка даже на дорах уже не работает, не говоря про белые сайты.

 

[sambukanuka]

Эх, жаль, думал GPT-3 и смогу экономить на платных сервисах.
А это GPT-2, модель юзают уже второй год. Эта генеренка даже на дорах уже не работает, не говоря про белые сайты.

Русский GPT-3 или вы про енглиш?

 

[Astraport]

Русский GPT-3 или вы про енглиш?

Мне кажется и русский не GPT-3 или просто качество такое низкое по сравнению с английской генеренкой.
Если сгенерить на английском GPT-3 и перевести на русский, то качество намного лучше получается.

 

[Spelin]

такие танцы с бубном я еще не на одном шаблоне не делал)

P.S. все еще в процессе запуска)))

 

[Spelin]

 Ru-генератор вызвал ошибку - Traceback (most recent call last):
  File "C:\Python37\lib\site-packages\tensorflow_core\python\pywrap_tensorflow.py", line 58, in <module>
    from tensorflow.python.pywrap_tensorflow_internal import *
  File "C:\Python37\lib\site-packages\tensorflow_core\python\pywrap_tensorflow_internal.py", line 28, in <module>
    _pywrap_tensorflow_internal = swig_import_helper()
  File "C:\Python37\lib\site-packages\tensorflow_core\python\pywrap_tensorflow_internal.py", line 24, in swig_import_helper
    _mod = imp.load_module('_pywrap_tensorflow_internal', fp, pathname, description)
  File "C:\Python37\Lib\imp.py", line 243, in load_module
    return load_dynamic(name, filename, file)
  File "C:\Python37\Lib\imp.py", line 343, in load_dynamic
    return _load(spec)
ImportError: DLL load failed with error code -1073741795


Failed to load the native TensorFlow runtime.

See https://www.tensorflow.org/install/errors

for some common reasons and solutions.  Include the entire stack trace
above this error message when asking for help. ...

Что за ошибка?

 

[Tyshka]

Тип Время Сообщение
21:07:59 Не найден установленный C:\Python37\python.exe
и Ошибка при работе Visual Studio

Не найден установленный C:\Python37\python.exe -укажите ВАШ путь к python.exe вместо того что у автора
Ошибка при работе Visual Studio - какая именно? В ветке многое разобрали

 

[Tyshka]

Python 3.9.7 не подойдет?

у меня не подошел

 

[Tyshka]

Чтобы разблокировать веб-сборку

1. Закройте Visual Studio.
2. С помощью проводника Windows перейдите к сборке, которую вы скачали из Интернета.
3. Щелкните сборку правой кнопкой мыши и в контекстном меню выберите « Свойства» .
   Откроется диалоговое окно " Свойства" .
4. На вкладке Общие нажмите кнопку Разблокировать , чтобы указать, что эта сборка является надежной.
   Примечание

мне помогло
Посмотреть вложение 82802

Вот это помогла запустить на ПК, а не на сервере. Автор ответа имел ввиду файл TextGenerator.dll ( а то я завис и долго думал, какую сборку я скачал из Интернета))

 

[Viking01]

Эх, жаль, думал GPT-3 и смогу экономить на платных сервисах.
А это GPT-2, модель юзают уже второй год. Эта генеренка даже на дорах уже не работает, не говоря про белые сайты.

Мне кажется и русский не GPT-3 или просто качество такое низкое по сравнению с английской генеренкой.

Ну вот, всегда в конце концов придёт кто-то, кто даже не запустив шаблон, начнёт кидать в него какашками ))

 

[Astraport]

Ну вот, всегда в конце концов придёт кто-то, кто даже не запустив шаблон, начнёт кидать в него какашками ))

Да при чём здесь шаблон? К нему претензий нет. Вопросы к контенту.
Вы думаете просто так платим сервисам сотни баксов?

 

[tanichev]

Ну вот, всегда в конце концов придёт кто-то, кто даже не запустив шаблон, начнёт кидать в него какашками ))

Это человек такой, не обращай внимания. Я считаю что ты победил в этом конкурсе. Молодец!

 

[Spelin]

Ru-генератор вызвал ошибку - module 'tensorflow' has no attribute 'gfile' ...


это как поправить?)

 

[Tyshka]

Все что связанно с pip install выдает ошибку
"pip" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.
Что не так делаю?

 

[Spelin]

Все что связанно с pip install выдает ошибку
"pip" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.
Что не так делаю?

при установке питона на первом окне нужно галку поставить PATH

 

[tanichev]

Все что связанно с pip install выдает ошибку
"pip" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.
Что не так делаю?

Как установить PIP для Python на Windows, Мас и Linux ~ PythonRu

Как любой серьёзный язык программирования, Python поддерживает сторонние библиотеки и фреймворки. Их устанавливают, чтобы не изобретать колесо в каждом

pythonru.com

 

[Viking01]

Что за ошибка?

Ru-генератор вызвал ошибку - module 'tensorflow' has no attribute 'gfile' ...

Ошибка tensorFlow - инструкция есть - первая ошибка, но у меня терпения не хватило ее править на офисном сервачке.
Даже ради эксперимента.
Рекомендую попровать на другой машине с видеокартой - посмотреть как оно вообще работает)

Все что связанно с pip install выдает ошибку
"pip" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.
Что не так делаю?

Не смог найти pip - см. последнюю описанную ошибку.

 

[backoff]

офф топ, картинка с другого сайта, но в тему ))

 

[Viking01]

Кстати, добавил в пост с Инструкцией по установке, что может еще потребоваться git и как его поставить.

 

[Tyshka]

Как установить PIP для Python на Windows, Мас и Linux ~ PythonRu

Как любой серьёзный язык программирования, Python поддерживает сторонние библиотеки и фреймворки. Их устанавливают, чтобы не изобретать колесо в каждом

pythonru.com

C:\Users\RoG>python get-pip.py
Python
Вижу такой ответ и все.
После этого все равно
C:\Users\RoG>pip install
"pip" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.

 

[tanichev]

C:\Users\RoG>python get-pip.py
Python
Вижу такой ответ и все.
После этого все равно
C:\Users\RoG>pip install
"pip" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.

попробуй через brew https://docs.brew.sh/Homebrew-and-Python

 

[bitardenko]

Ну вот, всегда в конце концов придёт кто-то, кто даже не запустив шаблон, начнёт кидать в него какашками ))

Так это GPT-3 от сбера что ли? Шаблон крутой и я бы за него проголосовал, хоть сам еще не пробовал, но сбер же с пафосным видом выложил фуфловый бредогенератор, который едва ли имеет отношение к гпт-3