- Регистрация
- 28.11.2019
- Сообщения
- 41
- Благодарностей
- 40
- Баллы
- 18
Всем привет уважаемые Зенноводы!
Представляю вам шаблон Зеннопостер для работы с паком нейросетей который ранее назывался KrillinAI I,теперь называется ClickStudio.
Инструмент позволяет переводить аудио с видео в субтитры и озвучивать их впоследствии, но озвучка пока доступна только для онлайн нейросетей. Работает с различными нейросетями как локальными, так и онлайн.
Результат-переведенное на язык из списка видео с субтитрами и озвучкой (опционально). Рекомендую смотреть прикрепленное видео в нем процесс разобран более наглядно.
Начало работы
Для того, чтобы начать работу, нам необходимо на гитхабе скачать в разделе актуальную версию ClickStudio, не десктопную.
В данном случае вот версия 1.2.2 После скачивания нам будет доступна распаковка вот в таком формате:
В папке config мы модифицируем файл config.toml Томл без ямла), видимо))
Что у нас получается;?
Выбираем в качестве провайдера транскрибации -fasterwhisper, который впоследствии будет скачан локально.
Proxy не устанавливаем. В качестве LLM провайдера устанавливаем OpenAI.Host оставляем без изменений. Переходим к локальной модели. У нас это faster whisper в формате medium. Я пробовал и tiny и large и мedium- это оптимальная модель с точки зрения перевода речи в текст. Все остальное оставляем без изменений.. Далее в качестве базового URL пишем наш localhost.lmstudio.В моем случае это localhost124-v1.В качестве модели у меня будет модель OpenAI-quen314bВ ,качестве АПИ-ключа просто будет LM Studio. Все остальные настройки я не трогаю, потому что они мне не нужны.
Шаблон состоит непосредственно из файла Zennoposter и трех папок. В папку input мы складываем видео, которое нам необходимо перевести. Папка output промежуточная папка для компоновки видео и файла с субтитрами. Папка done это то, куда упадет готовый результат деятельности шаблона. Результаты деятельности нейросети появятся в папке task в виде уникальных папок.В них будут содержаться субтитры и текстовые файлы с текстом перевода.
Перейдем непосредственно к шаблону:
Мы последовательно запускаем LM Studio и Krillin AI.Вот пошло отрабатывать LM Studio.Запустилось оно в режимы разработчика, как локальный сервер, модель Quen 3.14b.Длину контекста я поставил 7760. Настройки- ими можно в принципе играться, но предварительно стоит почитать потому что история ресурсно-затратная и необходимая неплохая видеокарта. Так, продолжаем дальше. Запускаем непосредственно сам Крилин. Вот он пошел отрабатывать. В этом блоке мы получаем список в которые нам необходимо перевести из директории input и кладем его в список .Паузами в зависимости от скорости можно пренебрегать Получили список, получили строку. И теперь создаем промежуточную папку в папке inputкуда упадут результаты нашей работы. Вот, соответственно, это мы и сделали предварительно почистив регуляркой часть пути к директории. Директория будет именоваться названием файла. Вот, и переходим непосредственно к интерфейсу. Интерфейс у нас очень дружелюбный, на языке производителя. В принципе, зачем делать переводчик, раз это переводчик. Вот, мировая рамка замечательная
Замечательно выглядит в переводе на русский язык Соответственно, нам необходимо будет локально загружать видео. выбирая те файлы, которые у нас необходимо перевести. Исходных языков пока немного в данном случае это английский, но достаточно много языков, на которые можно перевести субтитры У меня в данном шаблоне стоит русский
Вы можете модифицировать путем сравнительного перевода с языком производителя Далее.
Мы движемся по шаблону и, соответственно, крепим видео, выбираем языки запускаем в работу нейросеть
Поехали
В видеофайле есть русский перевод.
Мы Подбираем видео. Выбрали английский в качестве исходного языка и русский в качестве языка перевода субтитров. Запустили нейросеть. Вот faster whisper начинает транскрибировать речь в текст. Потом запустится и LM Studio, которое будет переводить Дальше. Вот с таким противным писком у нас происходит перевод Небольшие файлы переводит достаточно быстро а с большими файлами потеет. Шаблон настроен на циклическую работу и последовательно забирает из директории input все лежащие там файлы для перевода. Поэтому можно поставить и спокойно идти печать Некоторое время будет потрачено на то, чтобы еще задействовать нейросеть Вот она пошла генерировать перевод Текст в исходных файлах я заложил относительно небольшой, чтобы не тратить много времени в этом видео Далее. Когда перевод закончится и достигнет 100%сработает проверка выполнения переменной 100 и мы перейдем к компоновке файлов в отдельную директорию. Возьмем дом активной страницы. почистим регуляркой чтобы найти уникальное название директории с переводом. Заранее, в связи с тем, что шаблон циклический почистим переменную. Перевод готов. Получим список файлов из директории в которой лежат переводы так как там лежит и билингвальный перевод и технические файлы. Получим строку из списка в переменную. Вот у нас состоялась 100%.Дальше мы берем DOM чистим регуляркой удаляем строки, получаем список файлов Перекидываем дальше .Мы получаем список из директория Output и перемещаем туда файлы.
Результат
Результатом у нас должна быть компоновка файлов в котором у нас находится перевод и исходный файл.
Вот, соответственно, мы продолжаем чистим Получаем строки перемещаем необходимые нам файлы перемещаем из директория Output промежуточной в результирующую директорию Donе, директорию с уникальным названием файла с файлом внутри и переводом который нам был необходим. И дальше переходим на чистку переменных из списков.
После этого шаблон повторяется Пока исходные файлы будут находиться в директории. Как только файлы закончатся, шаблон отработает. По пути кончились файлы для перевод.а Давайте посмотрим, что у нас получилось В папке Donе у нас появилась папка с названием видео в которой лежит исходное видео и файл субтитров. Давайте запустим и Подключаем субтитры.
Надеюсь, шаблон поможет реализовать ваши задачи Всем спасибо, команде Зеннолаб большой респект за такие возможности и до встречи в эфире !
З.Ы. Если в тексте вы увидели слишком много междометий "вот" ,упрощенийи прочего мусора то автор краснеет еще сильнее, потому что этот текст является транскрибацией видео прикрепленного к этому посту, в котором он наговорил этих ВОТ)-хорошо бы чтобы за это не сильно стыдили.
Представляю вам шаблон Зеннопостер для работы с паком нейросетей который ранее назывался KrillinAI I,теперь называется ClickStudio.
Инструмент позволяет переводить аудио с видео в субтитры и озвучивать их впоследствии, но озвучка пока доступна только для онлайн нейросетей. Работает с различными нейросетями как локальными, так и онлайн.
Результат-переведенное на язык из списка видео с субтитрами и озвучкой (опционально). Рекомендую смотреть прикрепленное видео в нем процесс разобран более наглядно.
Начало работы
Для того, чтобы начать работу, нам необходимо на гитхабе скачать в разделе актуальную версию ClickStudio, не десктопную.
В данном случае вот версия 1.2.2 После скачивания нам будет доступна распаковка вот в таком формате:
В папке config мы модифицируем файл config.toml Томл без ямла), видимо))
Что у нас получается;?
Выбираем в качестве провайдера транскрибации -fasterwhisper, который впоследствии будет скачан локально.
Proxy не устанавливаем. В качестве LLM провайдера устанавливаем OpenAI.Host оставляем без изменений. Переходим к локальной модели. У нас это faster whisper в формате medium. Я пробовал и tiny и large и мedium- это оптимальная модель с точки зрения перевода речи в текст. Все остальное оставляем без изменений.. Далее в качестве базового URL пишем наш localhost.lmstudio.В моем случае это localhost124-v1.В качестве модели у меня будет модель OpenAI-quen314bВ ,качестве АПИ-ключа просто будет LM Studio. Все остальные настройки я не трогаю, потому что они мне не нужны.
Шаблон состоит непосредственно из файла Zennoposter и трех папок. В папку input мы складываем видео, которое нам необходимо перевести. Папка output промежуточная папка для компоновки видео и файла с субтитрами. Папка done это то, куда упадет готовый результат деятельности шаблона. Результаты деятельности нейросети появятся в папке task в виде уникальных папок.В них будут содержаться субтитры и текстовые файлы с текстом перевода.
Перейдем непосредственно к шаблону:
Замечательно выглядит в переводе на русский язык Соответственно, нам необходимо будет локально загружать видео. выбирая те файлы, которые у нас необходимо перевести. Исходных языков пока немного в данном случае это английский, но достаточно много языков, на которые можно перевести субтитры У меня в данном шаблоне стоит русский
Вы можете модифицировать путем сравнительного перевода с языком производителя Далее.
Мы движемся по шаблону и, соответственно, крепим видео, выбираем языки запускаем в работу нейросеть
Поехали
Мы Подбираем видео. Выбрали английский в качестве исходного языка и русский в качестве языка перевода субтитров. Запустили нейросеть. Вот faster whisper начинает транскрибировать речь в текст. Потом запустится и LM Studio, которое будет переводить Дальше. Вот с таким противным писком у нас происходит перевод Небольшие файлы переводит достаточно быстро а с большими файлами потеет. Шаблон настроен на циклическую работу и последовательно забирает из директории input все лежащие там файлы для перевода. Поэтому можно поставить и спокойно идти печать Некоторое время будет потрачено на то, чтобы еще задействовать нейросеть Вот она пошла генерировать перевод Текст в исходных файлах я заложил относительно небольшой, чтобы не тратить много времени в этом видео Далее. Когда перевод закончится и достигнет 100%сработает проверка выполнения переменной 100 и мы перейдем к компоновке файлов в отдельную директорию. Возьмем дом активной страницы. почистим регуляркой чтобы найти уникальное название директории с переводом. Заранее, в связи с тем, что шаблон циклический почистим переменную. Перевод готов. Получим список файлов из директории в которой лежат переводы так как там лежит и билингвальный перевод и технические файлы. Получим строку из списка в переменную. Вот у нас состоялась 100%.Дальше мы берем DOM чистим регуляркой удаляем строки, получаем список файлов Перекидываем дальше .Мы получаем список из директория Output и перемещаем туда файлы.
Результат
Результатом у нас должна быть компоновка файлов в котором у нас находится перевод и исходный файл.
Вот, соответственно, мы продолжаем чистим Получаем строки перемещаем необходимые нам файлы перемещаем из директория Output промежуточной в результирующую директорию Donе, директорию с уникальным названием файла с файлом внутри и переводом который нам был необходим. И дальше переходим на чистку переменных из списков.
После этого шаблон повторяется Пока исходные файлы будут находиться в директории. Как только файлы закончатся, шаблон отработает. По пути кончились файлы для перевод.а Давайте посмотрим, что у нас получилось В папке Donе у нас появилась папка с названием видео в которой лежит исходное видео и файл субтитров. Давайте запустим и Подключаем субтитры.
Надеюсь, шаблон поможет реализовать ваши задачи Всем спасибо, команде Зеннолаб большой респект за такие возможности и до встречи в эфире !
З.Ы. Если в тексте вы увидели слишком много междометий "вот" ,упрощенийи прочего мусора то автор краснеет еще сильнее, потому что этот текст является транскрибацией видео прикрепленного к этому посту, в котором он наговорил этих ВОТ)-хорошо бы чтобы за это не сильно стыдили.
Последнее редактирование модератором:
