Парсер групп Вконтакте с сайта AllSocial + последующая фильтрация

[DrunkDeath]

Доброго времени суток, дамы и господа. Хочу поделиться с вами весьма полезным шаблоном для парсинга групп Вконтакте с сайта https://allsocial.ru/ с последующей фильтрацией этих групп и занесением результата в таблицу. Шаблон парсит по ссылке группы и получает данные о группах (Название, ID, тип сообщества, доступ, возможность постинга в комментарии или на стену группы, возможность загружать документы, фото и видео, можно ли создавать обсуждения и писать в сообщения группы). Результат записывается в таблицу.

Спойлер: Входные настройки

Спойлер: Лог Работы

Как пользоваться шаблоном:

Переходим на сайт https://allsocial.ru/ и выставляем критерии поиска групп.
Копируем ссылку из адресной строки и вставляем во входные настройки шаблона.
Выбираем пункт "Парсить AllSocial" и выполняем 1 раз.
В корневой папке шаблона появится список с ID групп.
Добавляем полученный список во входные настройки.
Выбираем пункт "Фильтровать Группы".
Пишем логин и пароль вк.
По желанию добавляем прокси в формате: логин:пароль@ip:port.
Запускаем 1 выполнение.
Отфильтрованные группы появятся в таблице "Результат".



Можно фильровать и свои группы из списка. В списке должны быть только ID сообществ. Шаблон записывает все полученные данные в одну таблицу "Результат".

Всем спасибо за внимание. Надеюсь этот шаблон вам пригодится.​

 

[MasterX]

Вот бы кто такое для телеграмма придумал)

 

[DrunkDeath]

Вот бы кто такое для телеграмма придумал)

А что тут думать, выбирается вкладка Telegram на сайте и в кубике dom (в парсере) вписывается эта регулярка (?<=domain=).*. И всё, шаблон парсит группы телеграма по вашим критериям из allsocial

 

[barkasian]

А что тут думать, выбирается вкладка Telegram на сайте и в кубике dom (в парсере) вписывается эта регулярка (?<=domain=).*. И всё, шаблон парсит группы телеграма по вашим критериям из allsocial

Отлично, вот и шаблон на шестой конкурс шаблонов приехал)

 

[Gomer]

А что тут думать, выбирается вкладка Telegram на сайте и в кубике dom (в парсере) вписывается эта регулярка (?<=domain=).*. И всё, шаблон парсит группы телеграма по вашим критериям из allsocial

Лишний раз убеждаюсь, все гениальное просто)) Спасибо. А можешь добавить в шаб эту функцию по телеге, чтобы еще в отчет ссылку на телеграм канал выгружал?

 

[DrunkDeath]

Лишний раз убеждаюсь, все гениальное просто)) Спасибо. А можешь добавить в шаб эту функцию по телеге, чтобы еще в отчет ссылку на телеграм канал выгружал?

Не, этот шаб под вк. Как и писал выше, адаптировать под телегу можно заменив 1 кубик. Это не сложно.

 

[Partners]

Не, этот шаб под вк. Как и писал выше, адаптировать под телегу можно заменив 1 кубик. Это не сложно.

Шаб нужный пригодиться в работе. Помню был такой раньше, но где то затерялся. Долго парсил с помощью софта, но вроде тот уже не парсит. Кстати, чем можно потом группы отвалидировать по дате последнего поста?

 

[DrunkDeath]

Шаб нужный пригодиться в работе. Помню был такой раньше, но где то затерялся. Долго парсил с помощью софта, но вроде тот уже не парсит. Кстати, чем можно потом группы отвалидировать по дате последнего поста?

Да можно по json взять дату поста

 

[Yura1206]

Шаблон работает, но при парсинге почему-то выдает какие-то предупреждения и в папке создает два файла: в одном собранные id в указанном количестве (что в логе показывает), а в другом тоже id, но уже более 2000. Хотя по ссылке там и в помине нет этих 2000. Что это за второй список и откуда он берется?

 

[DrunkDeath]

Шаблон работает, но при парсинге почему-то выдает какие-то предупреждения и в папке создает два файла: в одном собранные id в указанном количестве (что в логе показывает), а в другом тоже id, но уже более 2000. Хотя по ссылке там и в помине нет этих 2000. Что это за второй список и откуда он берется?

Посмотреть вложение 52056

Предупреждения выскакивают только когда пустая страница, видимо не подгрузились группы. А вт на счёт нового файла я даже незнаю, он создаёт только 1 файл когда парсит с датой в имени

 

[sambukanuka]

зацикливается шаблон, и парсит первые 20 групп. Можете подправить?

 

[DrunkDeath]

зацикливается шаблон, и парсит первые 20 групп. Можете подправить?

Можете в ЛС скинуть пример ссылки по которой идёт парсинг?

 

[DrunkDeath]

зацикливается шаблон, и парсит первые 20 групп. Можете подправить?

Обновил шаблон

 

[Acme]

Только приобрёл данный продукт и решил попробовать Ваш шаблон. Настроил прокси чекер и когда запускаю ничего не происходит. Что не так делаю? Юзера никакого не указывал.

 

[DrunkDeath]

Только приобрёл данный продукт и решил попробовать Ваш шаблон. Настроил прокси чекер и когда запускаю ничего не происходит. Что не так делаю? Юзера никакого не указывал.
Посмотреть вложение 54571

А в логе что пишет при запуске? И надо добавить выполнения шаблону, а то всё по нулям

 

[Acme]

А в логе что пишет при запуске? И надо добавить выполнения шаблону, а то всё по нулям

Спойлер: logs

Тип Время Сообщение
13:15:06 Начинаю парсинг...
13:15:07 Начинаю парсинг...
13:15:08 Начинаю парсинг...
13:15:12 Начинаю парсинг...
13:15:12 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:12 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:12 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:12 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:12 Выполнение действия List Ошибка при обработке списка
13:15:12 Выполнение действия List Ошибка при обработке списка
13:15:12 ZennoPoster Не удалось выполнить проект E:\ZennoPoster\Шаблоны\Парсер групп Вконтакте с сайта AllSocial + последующая фильтрация.zp
13:15:12 ZennoPoster Не удалось выполнить проект E:\ZennoPoster\Шаблоны\Парсер групп Вконтакте с сайта AllSocial + последующая фильтрация.zp
13:15:13 Начинаю парсинг...
13:15:21 Начинаю парсинг...
13:15:21 Начинаю парсинг...
13:15:37 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:37 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:37 Выполнение действия List Ошибка при обработке списка
13:15:37 ZennoPoster Не удалось выполнить проект E:\ZennoPoster\Шаблоны\Парсер групп Вконтакте с сайта AllSocial + последующая фильтрация.zp
13:15:45 Начинаю парсинг...
13:15:49 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:49 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:49 Выполнение действия List Ошибка при обработке списка
13:15:49 ZennoPoster Не удалось выполнить проект E:\ZennoPoster\Шаблоны\Парсер групп Вконтакте с сайта AllSocial + последующая фильтрация.zp
13:15:58 Начинаю парсинг...

 

[DrunkDeath]

Спойлер: logs

Тип Время Сообщение
13:15:06 Начинаю парсинг...
13:15:07 Начинаю парсинг...
13:15:08 Начинаю парсинг...
13:15:12 Начинаю парсинг...
13:15:12 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:12 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:12 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:12 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:12 Выполнение действия List Ошибка при обработке списка
13:15:12 Выполнение действия List Ошибка при обработке списка
13:15:12 ZennoPoster Не удалось выполнить проект E:\ZennoPoster\Шаблоны\Парсер групп Вконтакте с сайта AllSocial + последующая фильтрация.zp
13:15:12 ZennoPoster Не удалось выполнить проект E:\ZennoPoster\Шаблоны\Парсер групп Вконтакте с сайта AllSocial + последующая фильтрация.zp
13:15:13 Начинаю парсинг...
13:15:21 Начинаю парсинг...
13:15:21 Начинаю парсинг...
13:15:37 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:37 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:37 Выполнение действия List Ошибка при обработке списка
13:15:37 ZennoPoster Не удалось выполнить проект E:\ZennoPoster\Шаблоны\Парсер групп Вконтакте с сайта AllSocial + последующая фильтрация.zp
13:15:45 Начинаю парсинг...
13:15:49 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:49 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:49 Выполнение действия List Ошибка при обработке списка
13:15:49 ZennoPoster Не удалось выполнить проект E:\ZennoPoster\Шаблоны\Парсер групп Вконтакте с сайта AllSocial + последующая фильтрация.zp
13:15:58 Начинаю парсинг...

Прокси нужно 1 поставить и если что в личку мне пишите)

 

[minfin]

Спасибо за отличный шаблон!
Обнаружил 2 ошибки:
1. Вылет с такой ошибкой

15:30:41    Выполнение действия Parse Json/Xml Unexpected character encountered while parsing value: <. Path '', line 0, position 0.

2. В результате получается очень много дублей

Для работы не критично - шаб можно перезапускать и дубли чистить. .

 

[DrunkDeath]

Спасибо за отличный шаблон!
Обнаружил 2 ошибки:
1. Вылет с такой ошибкой

15:30:41    Выполнение действия Parse Json/Xml Unexpected character encountered while parsing value: <. Path '', line 0, position 0.

Посмотреть вложение 55647
2. В результате получается очень много дублей
Посмотреть вложение 55648

Для работы не критично - шаб можно перезапускать и дубли чистить. .

Видимо вк пустой ответ отдаёт и Json не обрабатывается. Паузу между запросами небольшую поставить надо.