- Регистрация
- 18.10.2015
- Сообщения
- 27
- Благодарностей
- 41
- Баллы
- 13
Мое знакомство с зеннопостером уходит своими корнями в 2010 год. Каким-то супер-разрабом на зенке я не стал, да и не стремился, почти все мои идеи удавалось реализовать самому. Иногда я покупал что-то рабочее, иногда на конкурсе шаблонов попадался кокой-то бриллиант, как и в случае с тем, что будет описан ниже, два раза терял акк от почты, приходилось покупать новую Lite-лицензию, в 2016 году перешел на Pro.
Мой кейс будет чем-то похож на “истории успеха”, которые так популярны среди всяких “гуру”, но так как я никому ничего не продаю и ни к чему не склоняю, то, скорее всего, говорю правду! Хочу обратить ваше внимание, колеги, на причинно-следственные связи, а не на кубики и сниппеты!
К слову обо мне: 12 лет, как переехал в Европу на ПМЖ, работаю инженером при универе на кафедре электроники (короче, “развлекаемся” на гранты от Евросоюза). Зовут меня Сергей, более-менее владею парочкой языков, немножко пишу код в основном асемблер/С, чуть питона и толику С#, в свободное от работы время занимаюсь ковырянием в электронике/механике/аrduino и т.п. на этом, пожалуй, и все из био.
Мой кейс будет чем-то похож на “истории успеха”, которые так популярны среди всяких “гуру”, но так как я никому ничего не продаю и ни к чему не склоняю, то, скорее всего, говорю правду! Хочу обратить ваше внимание, колеги, на причинно-следственные связи, а не на кубики и сниппеты!
К слову обо мне: 12 лет, как переехал в Европу на ПМЖ, работаю инженером при универе на кафедре электроники (короче, “развлекаемся” на гранты от Евросоюза). Зовут меня Сергей, более-менее владею парочкой языков, немножко пишу код в основном асемблер/С, чуть питона и толику С#, в свободное от работы время занимаюсь ковырянием в электронике/механике/аrduino и т.п. на этом, пожалуй, и все из био.
В сентябре прошлого года на конкурсе шаблонов зеннолаб появилась статья “Перевод голоса с видео на другие языки на полном автомате.“ - Опробовав данный шаблон, на удивление все работало очень хорошо: сотни видео за ночь. Первым делом начал я переозвучивать целые каналы, которые были интересны лично мне и моим близким, по ходу пришлось допилить шаблон, чтобы заливать обратно на ютуб для удобного просмотра с любых устройств. Благо у меня валялось очень много старых аккаунтов Google с кучей созданных каналов. Через какое-то не продолжительное время я похвастался перед коллегами своими “наработками”: мол, вон чего могу, не то, что наши с соседней кафедры условное (AI/ML) не прошло и недели как меня вызвали к шефу, где он родил прекрасную идею по переводу лекций других университетов, в основном США, которые распространяются со свободной лицензией. Такие как: https://cs50.harvard.edu/x/2024/, где в самом низу ясно написано <If you are a teacher, you are welcome to adopt or adapt these materials for your own course, per the license.> - то есть бери и используй. В довесок надо было оформи как “научную разработку”.
На дворе конец октября, создана группа в количестве 4 человек + руководитель /как без него/, написано обоснование с красивыми графиками со статьями и ссылками на https://arxiv.org/ в расчетах фигурирует цена за час взятая у условных elevenlabs/murf – как признаных на тот момент лидеров по качеству модели, у всех хорошее настроение, видео переводятся прям в промышленных масштабах 24/7 шаблон переписан в приложение все работает, все отлично.
Мы с коллегами возимся с разными нейронками в основном аудио-направленности (синтез, транслейт, дублирование) формируем датасеты дотренировываем модели. Я честно признаюсь, я в полном восторге, для меня столько новых знаний, практический скил растет в геометрической прогрессии, плюс к моему удивлению, некоторые каналы, на которые я заливал видосы начинают прям выстреливать. Сначала один канал по занимательной физике за сутки 200 тысяч просмотров, потом еще и еще люди начинают подписываться, следом еще пара видео на других каналах стреляют один видос по научной фантастике 700 тыс., и это буквально за пару дней, и тут начинают прилетать страйки и как следствие удаление некоторых каналов. Досадно, конечно, но я даже не пытаюсь оспаривать, накидав простенький шаблон на зеннопостере, скрывающий видео от просмотра и удаляющие те, на которые есть жалобы, удалось спасти большую часть каналов.
На дворе конец октября, создана группа в количестве 4 человек + руководитель /как без него/, написано обоснование с красивыми графиками со статьями и ссылками на https://arxiv.org/ в расчетах фигурирует цена за час взятая у условных elevenlabs/murf – как признаных на тот момент лидеров по качеству модели, у всех хорошее настроение, видео переводятся прям в промышленных масштабах 24/7 шаблон переписан в приложение все работает, все отлично.
Мы с коллегами возимся с разными нейронками в основном аудио-направленности (синтез, транслейт, дублирование) формируем датасеты дотренировываем модели. Я честно признаюсь, я в полном восторге, для меня столько новых знаний, практический скил растет в геометрической прогрессии, плюс к моему удивлению, некоторые каналы, на которые я заливал видосы начинают прям выстреливать. Сначала один канал по занимательной физике за сутки 200 тысяч просмотров, потом еще и еще люди начинают подписываться, следом еще пара видео на других каналах стреляют один видос по научной фантастике 700 тыс., и это буквально за пару дней, и тут начинают прилетать страйки и как следствие удаление некоторых каналов. Досадно, конечно, но я даже не пытаюсь оспаривать, накидав простенький шаблон на зеннопостере, скрывающий видео от просмотра и удаляющие те, на которые есть жалобы, удалось спасти большую часть каналов.
Дата следующего визита пушного зверька 4 ноября – Яндекс отключает большинство языков для кросс-перевода. Но не все так плохо, у нас к тому времени на руках было переведено около 120000 часов видео (в своем подсчете я исходил из того, что час видео в среднем занимал 350 мб, а всего у нас было занято чуть более 42 тб. Грубо ~42 000 000мб/350мб=120 000ч. свои видео я в расчет не брал).
О ютуб как удобном хранилище пришлось на время забыть видео которые были переведены пылились на диске – требовалось найти решение по уникализации видеоряда для избежания сигнализации content-id правообладателям аудиодорожка, по моему мнению, и так была уникальной.
На очередной планерке было решено “пилить” собственное решение, благо разработок как оказалось в этом направлении достойных много главными критериями при выборе были качество синтезируемой речи, лицензия Apache 2.0 или MIT, масштабируемость/адаптивность – выбор пал на seamless communication от facebookresearch также были обозначены дополнительные задачи для нашей группы на следующий год, а именно сделать рабочее решение для портирования учебных материалов университета на платформу coursera (подразумевалось создание синхронного перевода на английский с липсингом). Вдовесок наш шеф предложил адаптировать еще не существующюю технологию к сервису udemy как оказалось у него там было пару курсов но на нативном языке очень мало студентов. Наша рабочая группа расширилась до 7 человек, добавились лингвист и методист ))).
Под конец года нам выдали хорошую премию, за проделанную работу, шеф нашей группы предложил мне и еще одному товарищу стать на стезю науки сделать так называемых докторант - аналог нашей аспирантуры.
О ютуб как удобном хранилище пришлось на время забыть видео которые были переведены пылились на диске – требовалось найти решение по уникализации видеоряда для избежания сигнализации content-id правообладателям аудиодорожка, по моему мнению, и так была уникальной.
На очередной планерке было решено “пилить” собственное решение, благо разработок как оказалось в этом направлении достойных много главными критериями при выборе были качество синтезируемой речи, лицензия Apache 2.0 или MIT, масштабируемость/адаптивность – выбор пал на seamless communication от facebookresearch также были обозначены дополнительные задачи для нашей группы на следующий год, а именно сделать рабочее решение для портирования учебных материалов университета на платформу coursera (подразумевалось создание синхронного перевода на английский с липсингом). Вдовесок наш шеф предложил адаптировать еще не существующюю технологию к сервису udemy как оказалось у него там было пару курсов но на нативном языке очень мало студентов. Наша рабочая группа расширилась до 7 человек, добавились лингвист и методист ))).
Под конец года нам выдали хорошую премию, за проделанную работу, шеф нашей группы предложил мне и еще одному товарищу стать на стезю науки сделать так называемых докторант - аналог нашей аспирантуры.
Человек против ИИ или сила научного подхода против обучения с подкреплением. Январь 24, у меня две недели отпуска. Особо дел нет, решил я разобраться с контент-ид ютуба не только в рамках хранения там переведенных видео а и в более широких границах.
Первая мысль посетившая меня – была простой заливать переведенные видео на другую платформу не связанную с гуглом позволявшая размещять длинные видео.
ЗА: (1_простота реализации) ПРОТИВ: (1_неудобность: ни я ни мои близкие неиспользовали другие платфотмами кроме youtube, с учетом длинных видео, 2_возможны непредвиденные камни в реализации замысла, 3_Для ютуб уже есть парочка готовых шаблонов) ИТОГ: (1к3)
ТРИЗ-vs-Google
Далее я опишу ход своих мыслей, решений и действий, а также проведу маленький ликбез по Теории Решения Изобретательских Задач (мне повезло учится в школе где был кружок посвященный ТРИЗ и ЮТ который вел фанатастический человек фанат своего дела) вы можете повторить проделанные шаги и придти к такому же положительному исходу.
1-ПРОТИВОРЕЧИЕ:
Я хочу перезаливать чужие видео но на моем пути стоят:
а) Авторское право
б) Правила сообщества
в) Алгоритмы Ютуба
2-*ИКР(Идеальный конечный результат): платформа ютуб сама содействует мне при заливании нужных мне видео + наливает трафик + позволяет монетизировать залитые видео!
3-РЕСУРСЫ
а) ZennoPoster – как средство автоматизации и быстрого прототепирования для проверки гипотез
б) AviSynth+, FFMPEG, frei0r, ffmbc, libav и другие библиотеки
в) Весь софт (имеющий триальный периуд) , 2ПК и ноут, 2 канала интернет
г) публикации по теме начиная от сравнительного анализа видео заканчивая bhw-форумами и гпт/клод/лама
4- ПРИЕМЫ РЕШЕНИЙ – ПРИМЕРЫ
а) Прием декомпозиции - Сам ютуб выдаст то с чем не справляются его алгоритмы
пример: фильмы marvel/disney, прон и эро-тематика, футбольные матчи, грифины и любая запрещенка или видео на которые гарантировано прилетает бан
б) Существующие решения – всякого рода уникализаторы вьетнамские/турецкие/корейские
в) Из другой системы – например мне попадался софт для сервисов хаокан и били-били
г) Работа с надсистемой – поиск в публикациях гугл/гугл-ресерч поиск в по публикациям других видеохостингов например фб-ресерч
5-ПРИНЦИПЫ – икр чем проще тем лучше, от общего к частному
6-СИСТЕМЫ
Алгоритмы Гугла как надсистема, алгоритмы ютуба как система, алгоритмы content ID как подсистема
Многовато текста выходит но прошу уж извенить постарають более сжато!
Первая мысль посетившая меня – была простой заливать переведенные видео на другую платформу не связанную с гуглом позволявшая размещять длинные видео.
ЗА: (1_простота реализации) ПРОТИВ: (1_неудобность: ни я ни мои близкие неиспользовали другие платфотмами кроме youtube, с учетом длинных видео, 2_возможны непредвиденные камни в реализации замысла, 3_Для ютуб уже есть парочка готовых шаблонов) ИТОГ: (1к3)
ТРИЗ-vs-Google
Далее я опишу ход своих мыслей, решений и действий, а также проведу маленький ликбез по Теории Решения Изобретательских Задач (мне повезло учится в школе где был кружок посвященный ТРИЗ и ЮТ который вел фанатастический человек фанат своего дела) вы можете повторить проделанные шаги и придти к такому же положительному исходу.
1-ПРОТИВОРЕЧИЕ:
Я хочу перезаливать чужие видео но на моем пути стоят:
а) Авторское право
б) Правила сообщества
в) Алгоритмы Ютуба
2-*ИКР(Идеальный конечный результат): платформа ютуб сама содействует мне при заливании нужных мне видео + наливает трафик + позволяет монетизировать залитые видео!
3-РЕСУРСЫ
а) ZennoPoster – как средство автоматизации и быстрого прототепирования для проверки гипотез
б) AviSynth+, FFMPEG, frei0r, ffmbc, libav и другие библиотеки
в) Весь софт (имеющий триальный периуд) , 2ПК и ноут, 2 канала интернет
г) публикации по теме начиная от сравнительного анализа видео заканчивая bhw-форумами и гпт/клод/лама
4- ПРИЕМЫ РЕШЕНИЙ – ПРИМЕРЫ
а) Прием декомпозиции - Сам ютуб выдаст то с чем не справляются его алгоритмы
пример: фильмы marvel/disney, прон и эро-тематика, футбольные матчи, грифины и любая запрещенка или видео на которые гарантировано прилетает бан
б) Существующие решения – всякого рода уникализаторы вьетнамские/турецкие/корейские
в) Из другой системы – например мне попадался софт для сервисов хаокан и били-били
г) Работа с надсистемой – поиск в публикациях гугл/гугл-ресерч поиск в по публикациям других видеохостингов например фб-ресерч
5-ПРИНЦИПЫ – икр чем проще тем лучше, от общего к частному
6-СИСТЕМЫ
Алгоритмы Гугла как надсистема, алгоритмы ютуба как система, алгоритмы content ID как подсистема
Многовато текста выходит но прошу уж извенить постарають более сжато!
Если короче то мой план состоял в следующем:
Первым делом я выкачал с ютуба видео которые гарантированно должны были словить бан но они себе спокойно жыли (критерий от 3 суток, монетизация=true, не шортс, от 5мин., от 10к просмотров)
В общей сложности я выкачал около 200 видео. Дальше я постарался найти максимально близкие к оригинальным в высоком качеством часть контента пришлось купить на самом же ютубе .
Первичный анализ был довольно простым я брал оба видео и сравнивал сначала через через пример, чтоб оценить чисто визуально дальше vqmt и video-compare, все отличия заносил в таблицу и так по кругу, еще проводил манипуляции с секвенциями. Дальше я попытался найти корреляцию между параметрами параллельно я проштудировал пару десятков статей и кучу видео. И так у меня сформировался набор параметров. Также каждому из параметров я присвоил веса от 0 до 1 с шагом 0.1 а также частоту вхождения (если параметр был изменен во всех видео значит 100% если не менялся значит 0% и.т.д.), идея заключалась в том, что изменяя параметры, которые в совокупности дают наибольшее число (коэффициент уникальности) предположительно можно было обходить ContentID, но очевидно, что страдал визуал при уменьшении коэффициента уникальности, выравнивался визуал но возрастал как бы обратный коэффициент, назовем его коэффициентом схожести. Мне хотелось найти “золотую середину” чтоб видео было максимально смотрибельно, при этом ютуб считал его уникальным. Пара формул в экселе и вуаля: у меня уже тысячи вариантов, дальше, отбросив верхние и нижние границы и определив условный центр распределения качество/уникальность, я перешел к сопоставлению параметров из моей первой таблицы с ffmpeg/avs.
Дальше, немного докрутив шаблон “ Уникализация видео с помощью FFMPEG ” zennopostera из конкурса шаблонов – пошел уникализировать видео. Когда у меня на руках было около 100 видео, я решил немного изменить дальнейший экспиримент.
Пришлось чуть откатится к входящим видео, и я добавил немного своих. Закупившись аккаунтами к их числу, я добавил 2 десятка своих, на которых был трафик, разделив условно все на 9 частей, начал заливать видео на хостинг.
Выглядело это вот так:
ПК1_IP1_Аккаунты_покупные à Ранее скачаные видео (хотел убедится что Ютуб макс. считает их дублем тех видео откуда я их скачал но не палит оригинал) также я перепроверел их наличие на момент повторного залива
ПК1_IP1_Аккаунты_покупные à Видео уникализированные с шагом 100 в большую сторону от условного центра
ПК1_IP1_Аккаунты_покупные à Видео уникализированные с шагом 100 в меньшую сторону от условного центра
ПК1_IP1_Аккаунты_покупные à Видео мои условно “домашнее видео”
ПК2_IP2_Аккаунты_покупные à Видео мои условно “домашнее видео” (хотелось увидить как будет сигналить ютуб о нарушении АП)
ПК2_IP2_Аккаунты_Мои à Видео мои условно “домашнее видео”
ПК2_IP2_ Аккаунты_покупные à Видео мои условно “домашнее видео” уникализированные с шагом 100 в большую сторону от условного центра
ПК2_IP2_ Аккаунты_покупные à Видео мои условно “домашнее видео” уникализированные с шагом 100 в меньшую сторону от условного центра
Дальше пошли: генерации, залив видео, условные замеры, изменения шага и схлопывания к центру
К концу февраля у меня сформировался четкий набор весов для успешного обхода алгоритмов ютуба (речь только об видеоряде), хотя некоторые представления об аудио у меня тоже были. На работе все шло нормально постигал много нового, иногда страдал фигней, описывая обоснования для руководства, чем мы занимаемся, остальные тоже не сильно напрягались, поставленные задачи выполнялись, дублирование видео уже вовсю работало на собственной разработке, ребята правили баги и дорабатывали липсинг.
Первым делом я выкачал с ютуба видео которые гарантированно должны были словить бан но они себе спокойно жыли (критерий от 3 суток, монетизация=true, не шортс, от 5мин., от 10к просмотров)
В общей сложности я выкачал около 200 видео. Дальше я постарался найти максимально близкие к оригинальным в высоком качеством часть контента пришлось купить на самом же ютубе .
Первичный анализ был довольно простым я брал оба видео и сравнивал сначала через через пример, чтоб оценить чисто визуально дальше vqmt и video-compare, все отличия заносил в таблицу и так по кругу, еще проводил манипуляции с секвенциями. Дальше я попытался найти корреляцию между параметрами параллельно я проштудировал пару десятков статей и кучу видео. И так у меня сформировался набор параметров. Также каждому из параметров я присвоил веса от 0 до 1 с шагом 0.1 а также частоту вхождения (если параметр был изменен во всех видео значит 100% если не менялся значит 0% и.т.д.), идея заключалась в том, что изменяя параметры, которые в совокупности дают наибольшее число (коэффициент уникальности) предположительно можно было обходить ContentID, но очевидно, что страдал визуал при уменьшении коэффициента уникальности, выравнивался визуал но возрастал как бы обратный коэффициент, назовем его коэффициентом схожести. Мне хотелось найти “золотую середину” чтоб видео было максимально смотрибельно, при этом ютуб считал его уникальным. Пара формул в экселе и вуаля: у меня уже тысячи вариантов, дальше, отбросив верхние и нижние границы и определив условный центр распределения качество/уникальность, я перешел к сопоставлению параметров из моей первой таблицы с ffmpeg/avs.
Дальше, немного докрутив шаблон “ Уникализация видео с помощью FFMPEG ” zennopostera из конкурса шаблонов – пошел уникализировать видео. Когда у меня на руках было около 100 видео, я решил немного изменить дальнейший экспиримент.
Пришлось чуть откатится к входящим видео, и я добавил немного своих. Закупившись аккаунтами к их числу, я добавил 2 десятка своих, на которых был трафик, разделив условно все на 9 частей, начал заливать видео на хостинг.
Выглядело это вот так:
ПК1_IP1_Аккаунты_покупные à Ранее скачаные видео (хотел убедится что Ютуб макс. считает их дублем тех видео откуда я их скачал но не палит оригинал) также я перепроверел их наличие на момент повторного залива
ПК1_IP1_Аккаунты_покупные à Видео уникализированные с шагом 100 в большую сторону от условного центра
ПК1_IP1_Аккаунты_покупные à Видео уникализированные с шагом 100 в меньшую сторону от условного центра
ПК1_IP1_Аккаунты_покупные à Видео мои условно “домашнее видео”
ПК2_IP2_Аккаунты_покупные à Видео мои условно “домашнее видео” (хотелось увидить как будет сигналить ютуб о нарушении АП)
ПК2_IP2_Аккаунты_Мои à Видео мои условно “домашнее видео”
ПК2_IP2_ Аккаунты_покупные à Видео мои условно “домашнее видео” уникализированные с шагом 100 в большую сторону от условного центра
ПК2_IP2_ Аккаунты_покупные à Видео мои условно “домашнее видео” уникализированные с шагом 100 в меньшую сторону от условного центра
Дальше пошли: генерации, залив видео, условные замеры, изменения шага и схлопывания к центру
К концу февраля у меня сформировался четкий набор весов для успешного обхода алгоритмов ютуба (речь только об видеоряде), хотя некоторые представления об аудио у меня тоже были. На работе все шло нормально постигал много нового, иногда страдал фигней, описывая обоснования для руководства, чем мы занимаемся, остальные тоже не сильно напрягались, поставленные задачи выполнялись, дублирование видео уже вовсю работало на собственной разработке, ребята правили баги и дорабатывали липсинг.
14 марта - мне подключили монетизацию и еще два канала 20. Дальше разного рода эксперементы по типу покупки каналов с монетизацией 2 из 3 не удачно или попытки получить хайповый трафик, но статья и так затянулась. Хотелось бы еще добавить, что удалось добиться хороших результатов по переводу университетских лекций, много материала на данный момент принято на курсеру, шефу тоже одобрили 5 или 6 курсов на юдеми. Две большие проблемы в данном направлении, которые удалось решить – это тайминг при дублировании (что очень важно когда не просто болтовня переводится, а к примеру, лектор пишет формулу и в процессе объясняет ее или запись работы с каким-то софтом, нужна полная синхронизация “говорю-делаю”) Второй момент – липсинг на тот момент, ничего достойного не было. Есть Ranway, но на нем далеко не уедешь, разработали свое. В общем и целом еще пришлось повозится с TTT/TTS/STT/STS, пришлось разбираться с piper/coqui/rvc/bark/edge-tts и лепить из этого всего своего монстра!
P.S. Почему и причем тут Маск? Ну, во-первых мне показалось это прикольным, во-вторых в начале этого года был на мероприятии где он выступал оставил хорошее впечатление о себе, в-третьих, по-моему он везучий (“фартовый”- в узком понимании), кроме всего прочего – человек... что коррелируется с темой статьи
Так а где все это добро, где ссылки, где финансовый ликбез, шаблоны зеннопостер?
Отвечу, пожалуй, с конца: зеннопостер всю дорогу был со мной. Как инструмент, он отличный, как в плане прототипирования, так и как многоцелевой комбайн. Финансового ликбеза не будет, хоть они и фигурируют в деле, но, как известно, любят тишину. А если бы я приложил некоторые скрины, то кейс стал бы похож на каноническо-инфоцыганский Полгода тому назад я и предположить не мог, что моя жизнь так сильно изменится: я с удовольствием иду на работу, мои скилы в некоторых областях выросли кратно – я считаю что можно это все связать с данным кейсом. Посмотрим, куда все это приведет! Ну и по поводу софта, как минимум, было бы не ответственно выкладывать все в открытый доступ! А где скрины/ на момент написания весь комплекс работает в терминальном режиме, посему не вижу смысла добавлять их сюда. Благодарю всех тех, кто дочитал до этого места: вы терпеливый человек. Надеюсь, что чтиво оказалось для вас не пустой тратой времени. Это мой дебют на ЗенноЛабе как автора. Буду рад оценкам – по мере возможности отвечу на вопросы.
Так а где все это добро, где ссылки, где финансовый ликбез, шаблоны зеннопостер?
Отвечу, пожалуй, с конца: зеннопостер всю дорогу был со мной. Как инструмент, он отличный, как в плане прототипирования, так и как многоцелевой комбайн. Финансового ликбеза не будет, хоть они и фигурируют в деле, но, как известно, любят тишину. А если бы я приложил некоторые скрины, то кейс стал бы похож на каноническо-инфоцыганский Полгода тому назад я и предположить не мог, что моя жизнь так сильно изменится: я с удовольствием иду на работу, мои скилы в некоторых областях выросли кратно – я считаю что можно это все связать с данным кейсом. Посмотрим, куда все это приведет! Ну и по поводу софта, как минимум, было бы не ответственно выкладывать все в открытый доступ! А где скрины/ на момент написания весь комплекс работает в терминальном режиме, посему не вижу смысла добавлять их сюда. Благодарю всех тех, кто дочитал до этого места: вы терпеливый человек. Надеюсь, что чтиво оказалось для вас не пустой тратой времени. Это мой дебют на ЗенноЛабе как автора. Буду рад оценкам – по мере возможности отвечу на вопросы.
Вложения
Последнее редактирование модератором:
