Как я парсил тонны видеоконтента на полном автомате или массовое скачивание клипов из ВК

[Scipion]

Доброго времени суток. На связи Виталий. По знаку зодиака я водолей(нет) и если тебя интересует только шаблон, а не мои страдания, то спускайся и читай "Акт 3"

Наконец-то я решил лишиться конкурсной невинности и предоставить в этом топике шаблон для парсинга и скачивания клипов из вконтакте.

Для работы одной темы мне стало необходимо много фото и видео. Если для граббинга фото из вк существует множество инструментов, то вот для парсинга клипов я нашел функционал только в ТХ, но стоимость очень кусается. Поскрипев зубами и включив внутреннего еврея я открыл проджект мейкер...

Акт 1. ЧЗХ

На зеннопостере я всегда писал простенькие шаблоны регистраторы или скрипты для выполнения несложных задач. Парсер, да еще и с прокруткой для меня являлось чем-то новым. Изначально я придумал довольно простую логику шаблона, хоть она и была кривокостыльная, но рабочая. Шаблон заходил по ссылке на страницу с клипами, потом эмулировалась клавиатура с нажатием PGDN и зацикливанием. Из-за этого даже группа с небольшим количеством клипов парсилась долго. Скачивание же я реализовал через сайт savefrom(да, я наркоман и не горжусь этим). Думаю, смысла нет говорить, насколько долго и коряво шаблон работал.

Акт 2. Искупление.

Поняв, что дальше так жить нельзя, я полез в гугл за помощью. Первое, что решено было сделать - ускорить загрузку. Перелопатив пару страниц выдачи, нашел форк ныне покойного youtube-dl под названием yt-dlp. Связать его с зенкой через кубик "запуск программы" не составило труда и скачивание видео ускорилось невероятно.

Переписать же парсинг ссылок оказалось намного сложнее. Заварив матэ и затарив энергетиков, мною начался штурм ютуба и ресурсов зеннолаба. В C# я был(и являюсь) абсолютным 0. С боем получилось набросать свой первый корявый код(естественно, я где-то косячил с кавычками или вместо ; ставил : ). Слава яйцам Альтмана и его детищу чатгпт, который мне все исправил и не дал поседеть.

Акт 3. Альфа и Омега.

Пора уже заканчивать свой поток шуе мыслей и рассказать о работе шаблона. Аккаунт вконтакте для парсинга не требуется. Два режима работы: парсинг ссылок и скачивание, думаю тут пояснений не требуется.

Есть два стула файла: "group" - заполняется группами и ссылками на страницу вида club000000/id000000, либо уникальный адрес страницы. Файл "video" заполняется автоматически ссылками на клипы при парсинге.
Папка prog содержит два файла(мистическое число какое-то в этом шаблоне): сам yt-dlp и aria2c для ускорения загрузки.

Группа с 1000 клипами парсится +-2 минуты, Скорость скачивания уже зависит от скорости интернета.

А на этом все, до новых встреч.

P.s. Я естественно никак не смогу тягаться шаблоном и статьей с местными "мастодонтами" автоматизации. Шаблон создавался из-за неимения альтернатив на рынке для грубого и бесплатного граббинга клипов. Готов ловить тухлые помидоры своим вечно довольным хлебалом.

 

[DrunkDeath]

Классная тема. Скачку так же реализовывал через yt-dlp, а парсинг делал на апи.

 

[art31]

Программа нерабочая. Как бы ссылки не вставлял в группу: Список групп пуст

Полез в код, а там )))

 

[Scipion]

Программа нерабочая. Как бы ссылки не вставлял в группу: Список групп пуст

Полез в код, а там )))

Так и знал, что где-то накосячу. Исправил.

Классная тема. Скачку так же реализовывал через yt-dlp, а парсинг делал на апи.

Я тоже хотел на api сначала(делал загрузчик видео в тот же самый вк), но не нашел документации

 

[heks]

Программа нерабочая. Как бы ссылки не вставлял в группу: Список групп пуст

Полез в код, а там )))

так подстраивай под себя просто пути уж явно нужно указывать в ручную

 

[DrunkDeath]

Я тоже хотел на api сначала(делал загрузчик видео в тот же самый вк), но не нашел документации

Она скрытая