Парсер подписчиков из сообществ VK.COM на GET-запросах

[Yosemite]

Описание

Парсер подписчиков из сообществ VK.COM на GET-запросах - шаблон для ZennoPoster, после запуска на выполнение устанавливает прокси, получает ссылку на сообщество из входящего файла. После чего отправляет GET-запросы на получение ссылок на профили участников сообщества. Результат сохраняется в текстовый файл, в названии файла содержится количество собранных ссылок, ID сообщества, дата и время завершения парсинга. Парсинг возможен из групп, пабликов, мероприятий

Как пользоваться?

Перед запуском шаблона на выполнение, необходимо заполнить входящие настройки:

• Укажите путь к файлу с ссылками на сообщества (cсылка должна содержать vk.com/имя_группы)
• Укажите прокси (необязательно, формат: username:password@ip:port)
• Максимальное количество участников

Минимальная версия ZennoPoster для работы шаблона - 7.1.3.0

 

[Aleksej]

Хотел переделать шаблон чтоб парсились только подписчики с моего города.Создал профиль с юзер агентом мобильного устройства и сохранением логина и пароля,далее добавил эмулятор клавиатуры чтоб можно было пролистать всех подписчиков,но при парсинге страницы выдает только 999 подписчиков в место 40 460.Почему так происходит?Может кто то помочь.Версия 5.29.5.0

 

[Yosemite]

Это могут быть ограничения вк

 

[kolina]

Где то читал что только до 1 000 подписчиком можно вытянуть с группы. В других парсерах то же самое. Возможно я не прав, но эту инфу можно погуглить

 

[WebBot]

В вэб-версии больше 1000 не получить .. можно конечно разбить по возрастам/странам/горадам/семейным статусам и тд и собрать значительно больше ... но если реально нужны все, то юзайте ВК API, оно для того и создано

 

[Aleksej]

Пока только сделал режим мониторинга,кто в онлайне на сайте в вк,того и парсим,далее складываем ссылки пользователей в .txt и удаляем дубли и так по кругу)То что собрать больше 1 000 тыс ссылок за 1 раз не получиться,уже понял
Буду гуглить про вк api...Всем кто откликнулся,спасибо

 

[Juniorcpa]

Пока только сделал режим мониторинга,кто в онлайне на сайте в вк,того и парсим,далее складываем ссылки пользователей в .txt и удаляем дубли и так по кругу)То что собрать больше 1 000 тыс ссылок за 1 раз не получиться,уже понял
Буду гуглить про вк api...Всем кто откликнулся,спасибо

Берешь айди юзера, по апи делаешь запрос get info или что-то типо того там есть, кладешь в csv табличкой (через , потом в экселе сортируешь как надо

 

[kolina]

Вчера сделал парсер (второй в жизни) и спарсил 6000 участников группы. Можно сколько угодно парсить. Главное что бы не забанил ВК. Делал эмуляцию клавиатуры ( нажатие кнопки вниз). Открывал новых 300 контактов, затем пауза 30 сек, затем опять 300 открывал, и опять пауза. Все контакты сложились в txt файл. Единственная проблема, ссылки были типа ( a class="fans_fan_ph " href="/id11924">), Но я их закинул в Exel и там кнопкой НАЙТИ И ЗАМЕНИТЬ эту часть a class="fans_fan_ph " href=" заменял на https://vk.com. А то что после ID НАЙТИ И УДАЛИТЬ. Парсер 6000 контактов парсил минут 30. Основное время забирало "Эмуляция клавиатуры" и перерывы по 30 сек. Ну и обработка в Exel не больше минуты.
Не ругайтесь Профессионалы если сделал по колхозному, но это мой 2 шаблон. Учусь

 

[zasranec]

Вчера сделал парсер (второй в жизни) и спарсил 6000 участников группы. Можно сколько угодно парсить. Главное что бы не забанил ВК. Делал эмуляцию клавиатуры ( нажатие кнопки вниз). Открывал новых 300 контактов, затем пауза 30 сек, затем опять 300 открывал, и опять пауза. Все контакты сложились в txt файл. Единственная проблема, ссылки были типа ( a class="fans_fan_ph " href="/id11924">), Но я их закинул в Exel и там кнопкой НАЙТИ И ЗАМЕНИТЬ эту часть a class="fans_fan_ph " href=" заменял на https://vk.com. А то что после ID НАЙТИ И УДАЛИТЬ. Парсер 6000 контактов парсил минут 30. Основное время забирало "Эмуляция клавиатуры" и перерывы по 30 сек. Ну и обработка в Exel не больше минуты.
Не ругайтесь Профессионалы если сделал по колхозному, но это мой 2 шаблон. Учусь

эмм...а не проще кубик в зенке сделать и заменить в процессе парсинга, чтоб без Exel

 

[zortexx]

vk.com позволяет парсить через API, что значительно сокращает время парсинга. Нужно лишь потратить время и разобраться с соответствующим методом API.
Что касается конкретно парсинга участников групп, то в гугле есть примеры использования метода execute, который позволяет парсить участников миллионами, измеряя затраченное время в секундах

 

[kolina]

эмм...а не проще кубик в зенке сделать и заменить в процессе парсинга, чтоб без Exel

У меня один поток. И если с кубиком, то пару тыс контактов будет менять долго. А в Exel за 5 сек. Хотя когда писал раньше, о этом кубике не знал. Сейчас использую, когда обрабатывать нужно не много строк. Кубик НАЙТИ И ЗАМЕНИТЬ классная штука

 

[ibred]

И если с кубиком, то пару тыс контактов будет менять долго.

Моментально.
Проверяйте в ZennoPoster, а не ProjectMaker.

 

[Mangazey]

Так все-таки сколько парсит в вэбверсии... 1000?

 

[kolina]

Так все-таки сколько парсит в вэбверсии... 1000?

Если не пользоваться поиском, то эмуляция клавиатуры( Клавиша DOWN) откроет думаю всех, по крайней мере тысяч 8 у меня открывала. А если выполнить поиск по полу, городу и т.д., то откроется только 1 000.

 

[kolina]

Вчера пришла такая идея по организации парсинга участников групп VK:
1. Узнаём ID группы для парсинга
2. Составляем себе список всех на что можно разбить поиск VK (пол, город, семейное положение и т.д.)
3. Получаем список URL из строк типа:

https://vk.com/search?c[country]=3&c[group]=110421241&c[per_page]=40&c[photo]=1&c[section]=people&c[sex]=1 (пол, страна, город) https://vk.com/search?c[group]=110421241&c[section]=people (это фильтр по полу) и т.д. все возможные варианты( это нужно будет собрать только один раз, и далее использовать эту наработку) 4. далее берём строку и вместо 110421241 подставляем необходимый ID группы которую парсим. 5. Эмуляцией клавиатуры, делаем нажатие клавиши DOWN раз так 20 6. В какой то ветке читал обсуждение как определить что хватит нажимать DOWN. Предлагаю решение такое: Нажали 20 раз DOWN Спарсили ссылки Положили в список Посчитали количество строк (получилось 150) Положили в переменную число 150 Нажали DOWN ещё 20 раз Спарсили ссылки Положили в список Посчитали количество строк ( получилось 150) Экшеном IF сравнили старое значение и новое (одинаковое, значит возвращаемся к списку URL и повторяем процедуру по другому параметру поиска. А если количество строк увеличилось, значит опять нажимаем DOWN 20 раз) Потратить времени 3 часа, написать такой шаблон. И в дальнейшем только в входных настройках вставлять ID группы.

 

[Rk61]

Парсить подписчиков лучше всего через API с помощью execute. За 1 гет-запрос получится вытягивать 25к подписчиков (экзекут может включать в себя до 25 запросов, каждым запросом делаем оффсет+1000)
К примеру нужно спарсить 1млн. В секунду можно до 3х запросов кидать, но пусть даже 1 запрос в секунду.
Получится за 40 секунд миллион наш. Если вк не понравится такая скорость, ставим паузы между запросами в 2-5 секунд и всё равно 1 млн за несколько минут - это неплохо.

 

[kolina]

Попробую на днях разобраться в этом методе. Спасибо!

 

[Baloo]

Ногами просьба не бить,но подскажите,что я делаю не так?

 

[HWMD]

Ногами просьба не бить,но подскажите,что я делаю не так?
Посмотреть вложение 48882

Окно браузера свидетельствует о том, что аккаунт не авторизован на сайте.
Если шаблон не предусматривает авторизацию и на сайте раньше можно было смотреть подписчиков без авторизации (не владению инф.), то возможно это требование ввели в последних обновлениях сайта.

 

[Santorini]

Ногами просьба не бить,но подскажите,что я делаю не так?
Посмотреть вложение 48882

Нужно указать ссылку на группу в переменную "{-Variable.group_link-}" и выполнять шаблон с самого начала. Если просит авторизацию, то из этой группы нельзя собрать подписчиков без авторизации (возможно группа закрытая)

 

[Baloo]

Нужно указать ссылку на группу в переменную "{-Variable.group_link-}" и выполнять шаблон с самого начала. Если просит авторизацию, то из этой группы нельзя собрать подписчиков без авторизации (возможно группа закрытая)

спасибо.группу я указал как в описании.группа не закрытая.пытаюсь добавить кубик с авторизацией.

 

[Santorini]

спасибо.группу я указал как в описании.группа не закрытая.пытаюсь добавить кубик с авторизацией.

Проверил, работает все корректно

 

[Baloo]

Проверил, работает все корректно
Посмотреть вложение 48883

без авторизации? не могли бы вы проверить группу vk.com/computeruniverse ?

 

[HWMD]

спасибо.группу я указал как в описании.группа не закрытая.пытаюсь добавить кубик с авторизацией.

вк ввел новую фишку: скрытие подписчиков от всех, кроме администрации. Возможно группа не закрытая, но подписчики скрыты?

 

[Santorini]

без авторизации? не могли бы вы проверить группу vk.com/computeruniverse ?

Из такой группы не получится собрать участников

 

[HWMD]

без авторизации? не могли бы вы проверить группу vk.com/computeruniverse ?

Так и есть

 

[Baloo]

Всё понял,спасибо господа Вам огромное.Значит мне нужен парсер тех участников,кто оставляет комментарии.Ещё раз благодарю.

 

[HWMD]

Всё понял,спасибо господа Вам огромное.Значит мне нужен парсер тех участников,кто оставляет комментарии.Ещё раз благодарю.

Для этой задачи проще использовать сервисы с готовым функционалом и критериями. Они не дорогие.

 

[Baloo]

Для этой задачи проще использовать сервисы с готовым функционалом и критериями. Они не дорогие.

согласен.пользовался такими для таргетинга вк,но блин,я хочу всё максимально удешевить,то есть ничего не покупать,кроме самого зеннопостера.для работы мне хватит лайта,так как я не планирую в промышленных масштабах работать с группами в вк,максимум 10 групп,парсинг по одной в час - не так уж и сложно.

 

[HWMD]

согласен.пользовался такими для таргетинга вк,но блин,я хочу всё максимально удешевить,то есть ничего не покупать,кроме самого зеннопостера.для работы мне хватит лайта,так как я не планирую в промышленных масштабах работать с группами в вк,максимум 10 групп,парсинг по одной в час - не так уж и сложно.

Собственный опыт: нет смысла экономить 300р/месяц и тратить время/ресурсы на велосипед.
Повышай прибыль и когда добьешь больших высот - экономия возможно будет целесообразна. 300р - нецелесообразно.