Парсер конкурсов Вконтакте (API)

[grin-du]

Всегда приятно получать что-либо бесплатно и просто. Будь-то вкусная шоколадка или старенькой машина, подаренная любимым дедушкой. Но вокруг довольно много людей, которые готовы отдавать что-либо просто так, а некоторые проводят целые конкурсы и призы в них могут оказаться для вас более ценными, чем полка для телевизора с самовывозом. Поэтому представляю шаблон поиска этих самых конкурсов в социальной сети ВКонтакте.
​

Алгоритм работы шаблона прост. Есть два режима работы (сбор групп и поиск непосредственно постов). В первый запуск собираем группы по необходимым нам параметрам. Прописав ключи для поиска, шаблон фильтрует по минимальному количеству участников группы 350 человек, а максимальному 7500. Обычно маленькие группы, которые занимаются хендмейдом или в принципе тематические, устраивают конкурсы, чтобы быстрее раскачаться на количество подписчиков. Хоть и администрация Вконтакте и ввела некие ограничения по анонимности, админы пабликов не собираются терять столь значимый для них способ набора подписчиков. Итак, собираем группы (запросом можно обработать не более 1000 групп на один ключ). Результат сохраниться в списке по пути проекта.

Далее вторым запуском шаблона ищем посты в группах содержащие слово «конкурс» (по желанию можно добавить дополнительные слова для проверки, или же наоборот какие-то исключить). В входных настройках можно выставить количество обрабатываемых постов (не рекомендую менять значение, так как в основном конкурсы ставят в закреп и он обязательно найдется). Не стоит забывать и о ДАТЕ порога поиска (обязательно соблюдайте формат даты). Это для того, чтобы не брал совсем уж старые и неактуальные посты. Все результаты сохраняются в таблицу с которой довольно таки удобно работать.

Вот и весь алгоритм работы данного шаблона. Дальше дело только за удачей, улыбнется она вам или нет.

Шаблон работает без браузера на API, поэтому чтобы настроить шаблон к боевому запуску понадобятся ключ от приложения (для парсинга постов) и ACCESS_TOKEN (для сбора групп для дальнейшей работы). Как создавать приложение и получить API KEY можно у Ganga, а получить ACCESS_TOKEN можно вписав в строку поиска браузера (заменив соответственно «ID_ПРИЛОЖЕНИЯ» на ID свежесозданного или уже имеющегося у вас приложения):

https://oauth.vk.com/authorize?client_id=ID_ПРИЛОЖЕНИЯ&scope=notify,photos,friends,audio,video,notes,pages,docs,status,questions,offers,wall,groups,messages,notifications,stats,ads,offline&redirect_uri=http://api.vk.com/blank.html&display=page&response_type=token

Особенности работы шаблона:

Проект не рекомендую выполнять более чем в 2 потока, так как приложение, которое в создадите может пропускать через себя только до 3 запросов в секунду. В другом случае словите временный бан на превышение (код ошибки 6 по документации API VK). По поводу лимитов вообще - если нужны объемы, то придется создавать несколько приложений (и скорее всего иметь прокси) или договариваться в администрацией ВК, подробно прописано в документации на превышение объемов. Дело в том, что основной используемый метод «wall.get» предполагает использование не чаще чем 5000 вызовов в сутки, поэтому рабочую мощность нужно рассчитывать исходя из этих данных.

Есть проверка дат нужных нам постов, то есть не собираем всё подряд, а это уже значительно упростит нам работу с таблицей. И главная особенность в том, что достаточно заменить ключ «КОНКУРС» на нужный вам и вуаля! Получаете совсем другой инструмент, с нужной именно вам смысловой нагрузкой. Поэтому дерзайте господа. Всем добра и удачи. Если решите воспользоваться этим шаблоном, то она вам понадобится!

 

[canroy]

пол часа тыкал не понимая почему не работает пока не вспомнил что я с украины

 

[gnomza75]

у меня ошибка
список пуст заканчиваю работу
список создан путь в настройках прописан

 

[gnomza75]

разобрался, сперва парсить группы надо
при поиске конкурсов ошибка api код 5
что бы это значило?

 

[gnomza75]

опять ступил, оказывается приложение вк отключено было
процесс идет полет нормальный

 

[gnomza75]

20 раз запускал, ни чего не находит, в лимит приложуха уходит Api 6, и закрывается шаб
запускать приходится с другого прилож Api процесс начинается заново
можно сделать, чтоб при таком закрытии сохранялся результат, то есть спаршенные группы которые отработали удалялись, и при следующем запуске отрабатывались следующие?
и еще по выставлении дат, дату ставим вчера или позавчера, я правильно понят?

 

[novichok]

Во для домохозяек тема то

 

[gnomza75]

ага халяву любят все

 

[grin-du]

20 раз запускал, ни чего не находит, в лимит приложуха уходит Api 6, и закрывается шаб
запускать приходится с другого прилож Api процесс начинается заново
можно сделать, чтоб при таком закрытии сохранялся результат, то есть спаршенные группы которые отработали удалялись, и при следующем запуске отрабатывались следующие?
и еще по выставлении дат, дату ставим вчера или позавчера, я правильно понят?

Группы парсятся в список физический на винте. Можете дописать, чтобы просто всё работало в одном процессе. Сбор ссылок и поиск по постам. В таком случае можно сделать всю работу в списке не привязаном к файлу. Чистить не нужно будет. По поводу дат. Я пробовал ставить недельку. Обычно неделя конкурсы идут.

 

[Agent]

Поясните по лимитам, правильно ли я понял "предполагает использование не чаще чем 5000 вызовов в сутки".
Т.е. на 1 приложение в сутки получится собрать 2500 групп в сумме по ключам и прогнать по ним 1 раз с запросом по нужному слову?

 

[grin-du]

Поясните по лимитам, правильно ли я понял "предполагает использование не чаще чем 5000 вызовов в сутки".
Т.е. на 1 приложение в сутки получится собрать 2500 групп в сумме по ключам и прогнать по ним 1 раз с запросом по нужному слову?

5000 это касается конкретно запроса постов из ленты для анализа. Но так как он есть в этом шаблоне и без него никуда, то да, 5000 для одного приложения.