- Регистрация
- 03.12.2019
- Сообщения
- 82
- Благодарностей
- 60
- Баллы
- 18
Доброго времени суток. На связи Виталий. По знаку зодиака я водолей(нет) и если тебя интересует только шаблон, а не мои страдания, то спускайся и читай "Акт 3"
Наконец-то я решил лишиться конкурсной невинности и предоставить в этом топике шаблон для парсинга и скачивания клипов из вконтакте.
Для работы одной темы мне стало необходимо много фото и видео. Если для граббинга фото из вк существует множество инструментов, то вот для парсинга клипов я нашел функционал только в ТХ, но стоимость очень кусается. Поскрипев зубами и включив внутреннего еврея я открыл проджект мейкер...
Акт 1. ЧЗХ
На зеннопостере я всегда писал простенькие шаблоны регистраторы или скрипты для выполнения несложных задач. Парсер, да еще и с прокруткой для меня являлось чем-то новым. Изначально я придумал довольно простую логику шаблона, хоть она и была кривокостыльная, но рабочая. Шаблон заходил по ссылке на страницу с клипами, потом эмулировалась клавиатура с нажатием PGDN и зацикливанием. Из-за этого даже группа с небольшим количеством клипов парсилась долго. Скачивание же я реализовал через сайт savefrom(да, я наркоман и не горжусь этим). Думаю, смысла нет говорить, насколько долго и коряво шаблон работал.
Акт 2. Искупление.
Поняв, что дальше так жить нельзя, я полез в гугл за помощью. Первое, что решено было сделать - ускорить загрузку. Перелопатив пару страниц выдачи, нашел форк ныне покойного youtube-dl под названием yt-dlp. Связать его с зенкой через кубик "запуск программы" не составило труда и скачивание видео ускорилось невероятно.
Переписать же парсинг ссылок оказалось намного сложнее. Заварив матэ и затарив энергетиков, мною начался штурм ютуба и ресурсов зеннолаба. В C# я был(и являюсь) абсолютным 0. С боем получилось набросать свой первый корявый код(естественно, я где-то косячил с кавычками или вместо ; ставил : ). Слава яйцам Альтмана и его детищу чатгпт, который мне все исправил и не дал поседеть.
Акт 3. Альфа и Омега.
Пора уже заканчивать свой поток шуе мыслей и рассказать о работе шаблона. Аккаунт вконтакте для парсинга не требуется. Два режима работы: парсинг ссылок и скачивание, думаю тут пояснений не требуется.
Есть двастула файла: "group" - заполняется группами и ссылками на страницу вида club000000/id000000, либо уникальный адрес страницы. Файл "video" заполняется автоматически ссылками на клипы при парсинге.
Папка prog содержит два файла(мистическое число какое-то в этом шаблоне): сам yt-dlp и aria2c для ускорения загрузки.
Группа с 1000 клипами парсится +-2 минуты, Скорость скачивания уже зависит от скорости интернета.
А на этом все, до новых встреч.
P.s. Я естественно никак не смогу тягаться шаблоном и статьей с местными "мастодонтами" автоматизации. Шаблон создавался из-за неимения альтернатив на рынке для грубого и бесплатного граббинга клипов. Готов ловить тухлые помидоры своим вечно довольным хлебалом.
Наконец-то я решил лишиться конкурсной невинности и предоставить в этом топике шаблон для парсинга и скачивания клипов из вконтакте.
Для работы одной темы мне стало необходимо много фото и видео. Если для граббинга фото из вк существует множество инструментов, то вот для парсинга клипов я нашел функционал только в ТХ, но стоимость очень кусается. Поскрипев зубами и включив внутреннего еврея я открыл проджект мейкер...
Акт 1. ЧЗХ
На зеннопостере я всегда писал простенькие шаблоны регистраторы или скрипты для выполнения несложных задач. Парсер, да еще и с прокруткой для меня являлось чем-то новым. Изначально я придумал довольно простую логику шаблона, хоть она и была кривокостыльная, но рабочая. Шаблон заходил по ссылке на страницу с клипами, потом эмулировалась клавиатура с нажатием PGDN и зацикливанием. Из-за этого даже группа с небольшим количеством клипов парсилась долго. Скачивание же я реализовал через сайт savefrom
Акт 2. Искупление.
Поняв, что дальше так жить нельзя, я полез в гугл за помощью. Первое, что решено было сделать - ускорить загрузку. Перелопатив пару страниц выдачи, нашел форк ныне покойного youtube-dl под названием yt-dlp. Связать его с зенкой через кубик "запуск программы" не составило труда и скачивание видео ускорилось невероятно.
Переписать же парсинг ссылок оказалось намного сложнее. Заварив матэ и затарив энергетиков, мною начался штурм ютуба и ресурсов зеннолаба. В C# я был(и являюсь) абсолютным 0. С боем получилось набросать свой первый корявый код(естественно, я где-то косячил с кавычками или вместо ; ставил : ). Слава яйцам Альтмана и его детищу чатгпт, который мне все исправил и не дал поседеть.
Акт 3. Альфа и Омега.
Пора уже заканчивать свой поток шуе мыслей и рассказать о работе шаблона. Аккаунт вконтакте для парсинга не требуется. Два режима работы: парсинг ссылок и скачивание, думаю тут пояснений не требуется.
Есть два
Папка prog содержит два файла(мистическое число какое-то в этом шаблоне): сам yt-dlp и aria2c для ускорения загрузки.
Группа с 1000 клипами парсится +-2 минуты, Скорость скачивания уже зависит от скорости интернета.
А на этом все, до новых встреч.
P.s. Я естественно никак не смогу тягаться шаблоном и статьей с местными "мастодонтами" автоматизации. Шаблон создавался из-за неимения альтернатив на рынке для грубого и бесплатного граббинга клипов. Готов ловить тухлые помидоры своим вечно довольным хлебалом.
Последнее редактирование модератором:
