Перевод голоса с видео на другие языки на полном автомате.

[ikibostus]

Спасибо за шаблон, удобно работать. Он shots не переводит, только полноформат?

 

[lx2003]

Здравствуйте! Шаблон сам не скачивает voice-over-translation-master, не настраивает его, а необходимо самому доскачать и донастроить, а только позволяет заменить дорожку аудио на новую.

Voice-over-translation-master скачал с github.
Куда вставлять код, чтобы Voice-over-translation-master работал автоматически?

 

[lx2003]

Куда вставлять код, чтобы Voice-over-translation-master работал автоматически?

Автоматически - то есть из шаблона.

 

[lx2003]

Здравствуйте! Шаблон сам не скачивает voice-over-translation-master, не настраивает его, а необходимо самому доскачать и донастроить, а только позволяет заменить дорожку аудио на новую.

Voice-over-translation-master скачал с github.
Куда вставлять код, чтобы Voice-over-translation-master работал автоматически?

Заработало!

 

[lx2003]

Спасибо автору за данный шаблон, теперь переводы курсов будут быстрее, а то приходилось двойной монтаж делать, загружать на ютуб курсы, затем переводить и скачивать перевод и накладывать его на видео и опять рендерить. Было бы не плохо если есть возможность сделать чтоб не удалялась оригинальная дорожка, а делалась просто тише на 10-15дцб и сверху наложить перевод. Было бы круто, но итак спасибо!
[/QUOTE
]
Это дорожку из видео нужно выделить в отдельный файл, внести в нем изменения, объединить их и дальше добавить дорожку снова.

 

[lx2003]

В идеале, конечно, мелодию отделить (песню) отделить от голоса, который нужно переводить. А затем перевод. Чтобы и мелодии оставить и то, что говориться в тексте перевести.

@KolkaPetkinSyn, работает хорошо! Не могу найти где прописать, на какой язык перевести. Мне нужно указать, к примеру, русский язык.

 

[lx2003]

В идеале, конечно, мелодию отделить (песню) отделить от голоса, который нужно переводить. А затем перевод. Чтобы и мелодии оставить и то, что говориться в тексте перевести.

@KolkaPetkinSyn, работает хорошо! Не могу найти где прописать, на какой язык перевести. Мне нужно указать, к примеру, русский язык.

Извини!
Нашел!

 

[lehaab]

В идеале, конечно, мелодию отделить (песню) отделить от голоса, который нужно переводить. А затем перевод. Чтобы и мелодии оставить и то, что говориться в тексте перевести.

Это наверное нужна нейросеть, есть сайты которые отделяют мелодию и вокал, есть ещё локальные сборки нейронки, я так вокал для ремиксов достаю локальной версией и довольно качественно отделяет, с помощью зенки наверное можно как то это все объеденить

 

[lehaab]

Сделал так, достал ffmpeg командами оригинальную дорожку, затем тоже командами дорожка оригинальная делалась тише и склеивалась с дорожкой перевода, ну а затем уже склеивал это с видео. Ну и теперь все круто, сильно оригинал не торчит, хорошо слышно и перевод нормально слышно. Иностранные уроки по музыке норм смотреть)

 

[lx2003]

Сделал так, достал ffmpeg командами оригинальную дорожку, затем тоже командами дорожка оригинальная делалась тише и склеивалась с дорожкой перевода, ну а затем уже склеивал это с видео. Ну и теперь все круто, сильно оригинал не торчит, хорошо слышно и перевод нормально слышно. Иностранные уроки по музыке норм смотреть)

По такому же принципу почти доработал шаблон.

 

[lx2003]

Это наверное нужна нейросеть, есть сайты которые отделяют мелодию и вокал, есть ещё локальные сборки нейронки, я так вокал для ремиксов достаю локальной версией и довольно качественно отделяет, с помощью зенки наверное можно как то это все объеденить

Подскажи, пожалуйста, какой нейросетью. Локальной сборкой какой-нибудь нейросети еще не пользовался, попробую поставить себе что-нибудь. )

 

[lehaab]

Подскажи, пожалуйста, какой нейросетью. Локальной сборкой какой-нибудь нейросети еще не пользовался, попробую поставить себе что-нибудь. )

Я такую используя нейронку MVSep-MDX23, загугли или на гитхабе в поиске найдешь. У меня сборка правда без веб интерфейса, сделана как бы оконным приложением с помощью PyQT 5, но если порыться на гитхабе или в гугле то может есть с веб интерфейсом. Нейронка очень качественно разделяет трек на 5 дорожек, драм партию, бас, мелодию, вокал и остальные звуки. С моей видяхой нвидия 4070 первые 2-3 трека минут по 6-7 разделяло, остальные стали быстрее минуты за 2-3, не знаю как так стало, может нейронка обновилась, хз. На сайте с нейронкой ждал очередь бывало по 2 часа. По поводу шаба надо ещё его переделывать, а то качает только 720p видео. Но в Bing чате вчера много всяких параметров нарыл для yt-dlp.exe теперь качает фул хд и отдельно аудио дорожку, видать только так можно скачать с большим разрешением, вот теперь надо кубики ещё добавить для этой склейки видео и аудио с ffmpeg, либо логику менять в боте чтоб лишние склейки не делало и время не тратило, с длинными видео времени прилично уходит на склейки.

 

[lx2003]

Я такую используя нейронку MVSep-MDX23, загугли или на гитхабе в поиске найдешь. У меня сборка правда без веб интерфейса, сделана как бы оконным приложением с помощью PyQT 5, но если порыться на гитхабе или в гугле то может есть с веб интерфейсом. Нейронка очень качественно разделяет трек на 5 дорожек, драм партию, бас, мелодию, вокал и остальные звуки. С моей видяхой нвидия 4070 первые 2-3 трека минут по 6-7 разделяло, остальные стали быстрее минуты за 2-3, не знаю как так стало, может нейронка обновилась, хз. На сайте с нейронкой ждал очередь бывало по 2 часа. По поводу шаба надо ещё его переделывать, а то качает только 720p видео. Но в Bing чате вчера много всяких параметров нарыл для yt-dlp.exe теперь качает фул хд и отдельно аудио дорожку, видать только так можно скачать с большим разрешением, вот теперь надо кубики ещё добавить для этой склейки видео и аудио с ffmpeg, либо логику менять в боте чтоб лишние склейки не делало и время не тратило, с длинными видео времени прилично уходит на склейки.

Тоже хочу fullhd качать - но это позже. Думаю, как бы настроить работу без браузера и интернета вообще. Потому что склейка и обработка видео происходит все равно в ffmpeg, который работает без интернета. Как сделать почти без интернета остальное?

 

[lehaab]

Тоже хочу fullhd качать - но это позже. Думаю, как бы настроить работу без браузера и интернета вообще. Потому что склейка и обработка видео происходит все равно в ffmpeg, который работает без интернета. Как сделать почти без интернета остальное?

без инета не обойтись думаю, перевод же с инета качается, а так вроде можно API яндекса использовать в своем софте, но платно, я в этом не компетентен

 

[lehaab]

без инета не обойтись думаю, перевод же с инета качается, а так вроде можно API яндекса использовать в своем софте, но платно, я в этом не компетентен

но если даже c API яндекса работать то опять же инет нужен

 

[lx2003]

но если даже c API яндекса работать то опять же инет нужен

Хорошо, все равно спасибо!

 

[kulikov_mister]

Годный шаб, спасибо

 

[lx2003]

https://zennolab.com/discussion/threads/shablon-najti-pesnju-i-rasskaz-na-drugom-jazyke-otnositelno-zadannoj-frazy.115747/

 

[Mavrikman]

Добрый день. Скрипт перестает работать на этом шаге - в чем может быть причина? версия 7.7.7.0

Screenshot

Captured with Lightshot

prnt.sc

 

[Mavrikman]

и на этом шаге выпадает капча

 

[lehaab]

и на этом шаге выпадает капча Посмотреть вложение 113480

Я в начале шаба подгружаю свои ютубские куки и в зенке по ютубу получается как будто с своего аккаунта нахожусь и капчи не просит

 

[Mikhail B.]

Автоматически - то есть из шаблона.

Пользуйтесь редактированием. Посты случайные можно потереть и оставить надпись del.

 

[Mikhail B.]

Интересно, а можно перевести и потом конвертировать в субтитры?

UPD. Оказывается уже есть куча генераторов субтитров.

 

[lx2003]

Интересно, а можно перевести и потом конвертировать в субтитры?

UPD. Оказывается уже есть куча генераторов субтитров.

Там еще есть кнопка субтитры с переводом которая включает - собирать их не пробовал. По идеи должны собираться, т.к. поверх накладываются

У меня пока не получается парс-распознавание из видео. Т.е. в видео добавлен текст или быстро движущаяся строка с текстом и его надо распознать.

Может, связано, с тем, что разрешение видео не большого качества. ИИ такой не могу найти, а сервисы онлайн не справляются.

КапчаМонстры - заточены совершенно под другое

 

[lx2003]

У меня пока не получается парс-распознавание из видео. Т.е. в видео добавлен текст или быстро движущаяся строка с текстом и его надо распознать.

Может, связано, с тем, что разрешение видео не большого качества. ИИ такой не могу найти, а сервисы онлайн не справляются.

КапчаМонстры - заточены совершенно под другое

Не займусь

 

[lx2003]

Там еще есть кнопка субтитры с переводом которая включает - собирать их не пробовал. По идеи должны собираться, т.к. поверх накладываются

У меня пока не получается парс-распознавание из видео. Т.е. в видео добавлен текст или быстро движущаяся строка с текстом и его надо распознать.

Может, связано, с тем, что разрешение видео не большого качества. ИИ такой не могу найти, а сервисы онлайн не справляются.

КапчаМонстры - заточены совершенно под другое

В общем, вроде нашел расширение для браузера Chrome - TextGrab. Как написано в ИИ, вроде сделано на том же Tesseract OCR
Но потестил, через TextGrab качество распознавания текста пока, вроде, лучше.

 

[lx2003]

Не получается сделать автоматический перевод для этого видео:

https://iontor.xyz/quantumai/media/1718066316.mp4

Не видит браузерное расширение.

 

[lx2003]

Не получается сделать автоматический перевод для этого видео:

https://iontor.xyz/quantumai/media/1718066316.mp4

Не видит браузерное расширение.

Видео скачалось, а перевод не получилось сделать.

 

[lx2003]

Интересно, а можно перевести и потом конвертировать в субтитры?

UPD. Оказывается уже есть куча генераторов субтитров.

А мне интересна конвертация видео в текст "полностью в "текстовое описание того, что происходило в видео полностью и текст".

 

[lx2003]

А мне интересна конвертация видео в текст "полностью в "текстовое описание того, что происходило в видео полностью и текст".

Это может быть полезно для создания сценариев, аннотаций или альтернативных версий видео.