Парсер групп Vk

[leha52rus]

Всем привет, порой люди работающие с социальной сетью Vkontakte сталкиваются с простой на первый взгляд задачей, собрать нужное кол-во групп по определенному ключу, но на деле выходит не все так просто в виду различных обстоятельств.
Поэтому хочется упростить Вам жизнь

Выполнение шаблона происходит полностью на Post\Get что в свою очередь практически не нагружает ваш ПК при работе шаблона

Функции шаблона:
Сбор пабликов ВК по ключевым словам (запросам)

Работа шаблона осуществляется без авторизации в vk что очень удобно и снижает затраты на покупку аккаунта и упрощает процесс как минимум в 2 раза.

Шаблон находится на этапе - Бета тестирования, если так можно сказать, проявиться интерес со стороны пользователей то можно будет прикрутить дополнительные какие то функции сбора и разбивки информации

Так же хочу заметить что шаблон работает на базе одного известного ресурса, не буду озвучивать какого, можете зайти в кубики и сами всё подсмотреть

Собран на версии - 5.28.0.0

 

[sergej_g]

Проверил. Шаблон рабочий. Действительно ищет группы по ключевой фразе(18+) во входных настройках.

 

[leha52rus]

Проверил. Шаблон рабочий. Действительно ищет группы по ключевой фразе(18+) во входных настройках.

А я даже не подумал искать по такой формулировки ни разу (18+) =)

 

[sergej_g]

А я даже не подумал искать по такой формулировки ни разу (18+) =)

Так это известная поисковая фраза

 

[leha52rus]

Друзья! ​

Наш парсер немного повзрослел и научился новым фишкам
Стал доступен парсинг Администраторов групп со статистикой по охвату, росту, и количеством открытых\ закрытых групп

p.s кол-во админов чуть менее полу миллиона
Парсить всех я так и не решился, у кого ПК с хорошей производительностью могли бы попробовать открыть такой xl файл
Работайте в 1 поток, этого более чем достаточно
тысячу админов я получаю где - то за 20 сек.

Шапку отредактировать не получилось почему - то что бы обновить шаблон
поэтому прикрепляю его сюда

 

[ModNick]

Больше 1000 групп получается спарсить?

 

[leha52rus]

Больше 1000 групп получается спарсить?

При запуске парсинга, шаблон выдает нам значение = кол-во пабликов которые он нашел по заданному ключу
http://joxi.ru/nAyKJ4jugj8DYm
Далее начинается парсинг
и после того как шаблон соберет все группы\паблики он произведет остановку и очистит все имеющиеся дубли, если таковые имеют место быть
http://joxi.ru/brRZKWbT7Y5DKr
Спаршенные паблики Вы можете найти в текстовом документе который лежит в одной папке с проектом
и называется publics.txt
Хотите парсить не по одному ключу сразу?
Можете запустить 1-2-3 шаблона в параллель, но если честно такая реализация мне не нравится =)
можно конечно устроить логику работы так что бы после отработки одного ключа, шаблон брал следующий и так до тех пор пока не закончатся ключи...

 

[specialist]

p.s кол-во админов чуть менее полу миллиона

Возможно как-то отфильтровать админов по запросам? Тот же чудо запрос 18+, получить только админов по данному запросу?

 

[leha52rus]

Возможно как-то отфильтровать админов по запросам? Тот же чудо запрос 18+, получить только админов по данному запросу?

Думаю - да
Но в таком случае понадобится авторизация через какой-либо аккаунт
Но пока это не реализовано ...

Есть возможность подтянуть парсинг телеграм каналов, если востребовано то можно реализовать в принципе.

 

[She]

Думаю - да
Но в таком случае понадобится авторизация через какой-либо аккаунт
Но пока это не реализовано ...

Есть возможность подтянуть парсинг телеграм каналов, если востребовано то можно реализовать в принципе.

Приветствую.Очень интересно потестировать парсинг телеграм каналов.

Сделайте пожалуйста работу этого вк шаблона с возможностью парсинга через прокси/без прокси

 

[yarobod]

Возможно ли реализовать в данном шаблоне парсинг с этих групп-пользователей ( по гео, возрасту, интересам, наличию телефона, email, если есть в анкете )? Был бы очень благодарен

 

[leha52rus]

Возможно ли реализовать в данном шаблоне парсинг с этих групп-пользователей ( по гео, возрасту, интересам, наличию телефона, email, если есть в анкете )? Был бы очень благодарен

Потребуется авторизация для сбора этой информации
Реализовать то можно что угодно...

 

[yarobod]

Потребуется авторизация для сбора этой информации
Реализовать то можно что угодно...

Цена вопроса ?

 

[leha52rus]

Цена вопроса ?

Я подумаю над реализацией, этих задач, логику я вижу такой
1.Парсинг групп
2.Парсинг из собранных групп по одному из интересующих нас критериев
Ибо парсить по всем критерием сразу не корректно как то будет
Допустим собираем сначала жителей города_№
А потом уже можно из них отобрать жителей с наличием телефона или email

 

[leha52rus]

Ребята привет! Ну что? Готовы! ​

С того момента как вышла первая версия нашего парсера прошло достаточно времени что бы вдохнуть в него новую жизнь! Парсер приобрел новый функционал, обзавелся новыми фишками которыми я и хотел бы с вами поделится!

Итак приступим к разбору функционала
Иногда нужно посмотреть id группы или пользователя
эта функция реализована в шаблоне


Просто выбираете из выпадающего меню
"Узнать id" ниже вставляете ссылку на сообщество или пользователя и выполняете проект
id Вы найдете в папке с проектом текстовый файл "id группы или пользователя"
akkaunt_for_job - кладете аккаунт в формате login:password именно Двоеточие должно разделять логин и пароль

Парсер сообществ

В Выпадающем меню в первой вкладке "Режим работы" выбираем Парсим сообщества
переходим во вкладку "Парсер сообществ" задаём ключевое слово по которому хотим собрать группы и выполняем проект



После того как сообщества собраны
переходим в папку с проектом
берем одну из групп и вставляет в текстовый документ "Группы для парсинга"

формат строки которая кладется в текстовый документ "Группы для парсинга" должен быть строго следующий:
club19530329 или же group25504395

Логика шаблона следующая :
сперва он собирает всех доступных для парсинга пользователей из сообщества (обычно ВК отдаёт меньшее кол-во чем указано на страничке в группе)
А потом собирает всю доступную по ним информацию

Шаблон реализован таким образом что каждое новое сообщество для парсинга Вам придётся вручную добавлять в тхт Группы для парсинга из тхт publics

p.s. что касается работы с таблицей!
То после того как вы возьмёте всю информацию, и захотите удалить старые данные
делайте это следующим образом, выделяете не строки а всё вместе со столбцами слева!
Как показано на скрине, но не стоит удалять шапку сверху, она не восстановится! =)

 

[She]

Доброго времени @leha52rus Спасибо за то,что сделали такую работу,за то что выкладываете такое для нас бесплатно.Удачи и развития.
По возможности реализуйте пожалуйста чтобы шаблону можно было запретить парсить мусорные ссылки.Часто по одному ключу,много не в тему групп собирается.Не знаю как это реализовать.Может чёрный список стоп слов.

 

[leha52rus]

Доброго времени @leha52rus Спасибо за то,что сделали такую работу,за то что выкладываете такое для нас бесплатно.Удачи и развития.
По возможности реализуйте пожалуйста чтобы шаблону можно было запретить парсить мусорные ссылки.Часто по одному ключу,много не в тему групп собирается.Не знаю как это реализовать.Может чёрный список стоп слов.

Спасибо за то что оценили мой труд =)
Шаблон реализован таким образом что собирает группы со стороннего ресурса, а сам парсинг участников сообществ и их данные уже идёт непосредственно с Вк
Можно конечно переписать блок парсинга непосредственно в Вк, но сейчас нет желания этим заниматься

 

[She]

Спасибо за то что оценили мой труд =)
Шаблон реализован таким образом что собирает группы со стороннего ресурса, а сам парсинг участников сообществ и их данные уже идёт непосредственно с Вк
Можно конечно переписать блок парсинга непосредственно в Вк, но сейчас нет желания этим заниматься

Доброго времени @leha52rus. А id пользователей массово как им можно парсить? Чтобы он мог с группы выдирать всех пользователей,и не единично,а списком выдавал их id

 

[leha52rus]

Доброго времени @leha52rus. А id пользователей массово как им можно парсить? Чтобы он мог с группы выдирать всех пользователей,и не единично,а списком выдавал их id

Так он их и кладет в таблицу по мере парсинга
Можно добавить функцию парсинга пользователей из сообществ без обработки
т.е. задали группу, спарсили всех возможных пользователей, получили просто список id.

 

[She]

Так он их и кладет в таблицу по мере парсинга
Можно добавить функцию парсинга пользователей из сообществ без обработки
т.е. задали группу, спарсили всех возможных пользователей, получили просто список id.

Доброго времени @leha52rus.Это уже работает?Или это планы на будущее?

Реализуйте пожалуйста возможность парсить сообщества сразу по нескольким онотематическим ключам из списка.Если это уже работает,объясните пожалуйста как?

 

[Алексей Петров]

Благодарю за отличный парсер!

 

[Termi58]

Добрый день!
К сожалению шаблон не особо работает: по моему ключу находит только 4 группы, хотя их больше...

 

[leha52rus]

Добрый день!
К сожалению шаблон не особо работает: по моему ключу находит только 4 группы, хотя их больше...

Доброго времечка! Вполне такое может быть, в виду особенностей шаблона

 

[Termi58]

Доброго времечка! Вполне такое может быть, в виду особенностей шаблона

Я очень благодарен Вам за шаблон и за возможность его править. Надеюсь Вы не будете возражать за внесённые мною изменения и то, что выкладываю его тут.
Добавлено:
уточнение страны;
уточнение города;
фильтр мероприятий(все;предстоящие);
Выбор типа сообщества(мероприятие, группа, сообщества);

 

[leha52rus]

Я очень благодарен Вам за шаблон и за возможность его править. Надеюсь Вы не будете возражать за внесённые мною изменения и то, что выкладываю его тут.
Добавлено:
уточнение страны;
уточнение города;
фильтр мероприятий(все;предстоящие);
Выбор типа сообщества(мероприятие, группа, сообщества);

Друзья, всё что я делаю, делал, в рамках этого шаблона, это работа полностью открытая для Вас =)
Вы можете редактировать его по своему усмотрению, модифицировать, добавлять новые фишки, возможно добавлять даже какие-то новые сервисы! Я только - ЗА
Всех с праздниками и всех благ!

 

[Termi58]

Друзья, всё что я делаю, делал, в рамках этого шаблона, это работа полностью открытая для Вас =)
Вы можете редактировать его по своему усмотрению, модифицировать, добавлять новые фишки, возможно добавлять даже какие-то новые сервисы! Я только - ЗА
Всех с праздниками и всех благ!

Вам спасибо
Я полночь пытался спарсить через браузер и у меня больше 30-40 запросов не хотело категорически парсить и тут я случайно, просто случайно открываю Ваш шаблон-а он открыт
Вы в первом посте указали, что шаблон берет данные не напрямую из вк...но что то кроме как запроса к api вк я не нашел ничего...не там смотрел? не туда?

 

[leha52rus]

Вам спасибо
Я полночь пытался спарсить через браузер и у меня больше 30-40 запросов не хотело категорически парсить и тут я случайно, просто случайно открываю Ваш шаблон-а он открыт
Вы в первом посте указали, что шаблон берет данные не напрямую из вк...но что то кроме как запроса к api вк я не нашел ничего...не там смотрел? не туда?

Скажем так, парсер собирает информацию с источника, который в свою очередь берет её напрямую с vk =)
трехходовочка )))
Тем самым мы обходим верификацию на сайте vk и парсим не имея аккаунта vk в работе, как-то так =)

 

[Termi58]

К сожалению вынужден признать что шаблон при фильтре по городу даёт сбой и результат вообще не выдает-временно эту функцию отключил, будет время-подумаю как это исправить...

 

[Juniorcpa]

Скажем так, парсер собирает информацию с источника, который в свою очередь берет её напрямую с vk =)
трехходовочка )))
Тем самым мы обходим верификацию на сайте vk и парсим не имея аккаунта vk в работе, как-то так =)

Обнови, чего теряешься-то. Там вон на конкурсе статей кстати тоже парсер аллсошл выложили