Всем привет!
Шаблон парсит подсказки методом подстановки к основному ключевому слову двухбуквенных строк. Всего таких строк 1369.
На выходе получаем таблицу с тремя листами:
USERS - Ник, Описание, Приватный (True, False), Верифицированный (True, False), Количество подписчиков, Ссылка на аву.
HASHTAGS - Название тега, Количество публикаций.
PLACES - Назвние, Адрес, Координаты.
Пример результатов, по ключу dating, есть в архиве с шаблоном и в гугл таблице по ссылке https://docs.google.com/spreadsheets/d/1raTt8AdpplOS1C_fAYy45FBm0D9v8wJx92PeIbVS6bs/edit?usp=sharing
В архиве с шаблоном есть папка ExternalAssemblies с библиотеками (Epplus и Newtosofjson), содержимое нужно перекинуть в папку Zennolab -> \Progs\ExternalAssemblies
Списки шаблона для настроек:
KeywordsList - для ключевиков
ProxyList - для проксей
UserAgentList - для ЮзерАгенов. В списке уже есть агенты
Настройки:
Название для таблици с результатами - Будет создана таблица с нужным названием. Результат парсинга, независимо от количества ключевиков, будет записан в одну таблицу.
Дописать в существующую таблицу - Если нужно допарсить в ранее созданную таблицу.
Потоков на одну проксю - Количество проксей умножает на указанное число. Если в списке 5 проксей и в настройках указать 4 = 20 потоков. Работает и без проксей и также можно указать потоки.
При тестах, на одну проксю в 37 потоков, пропускало 500 - 600 запросов и блокировало на 10 - 20 минут. Для непрерывной работы нужно больше проксей. В случае блокировки шаблон выходит из цикла и отписывает в лог сколько не допарсило.
Шаблон нужно запускать в один поток!
Шаблон парсит подсказки методом подстановки к основному ключевому слову двухбуквенных строк. Всего таких строк 1369.
На выходе получаем таблицу с тремя листами:
USERS - Ник, Описание, Приватный (True, False), Верифицированный (True, False), Количество подписчиков, Ссылка на аву.
HASHTAGS - Название тега, Количество публикаций.
PLACES - Назвние, Адрес, Координаты.
Пример результатов, по ключу dating, есть в архиве с шаблоном и в гугл таблице по ссылке https://docs.google.com/spreadsheets/d/1raTt8AdpplOS1C_fAYy45FBm0D9v8wJx92PeIbVS6bs/edit?usp=sharing
В архиве с шаблоном есть папка ExternalAssemblies с библиотеками (Epplus и Newtosofjson), содержимое нужно перекинуть в папку Zennolab -> \Progs\ExternalAssemblies
Списки шаблона для настроек:
KeywordsList - для ключевиков
ProxyList - для проксей
UserAgentList - для ЮзерАгенов. В списке уже есть агенты
Настройки:
Название для таблици с результатами - Будет создана таблица с нужным названием. Результат парсинга, независимо от количества ключевиков, будет записан в одну таблицу.
Дописать в существующую таблицу - Если нужно допарсить в ранее созданную таблицу.
Потоков на одну проксю - Количество проксей умножает на указанное число. Если в списке 5 проксей и в настройках указать 4 = 20 потоков. Работает и без проксей и также можно указать потоки.
При тестах, на одну проксю в 37 потоков, пропускало 500 - 600 запросов и блокировало на 10 - 20 минут. Для непрерывной работы нужно больше проксей. В случае блокировки шаблон выходит из цикла и отписывает в лог сколько не допарсило.
Шаблон нужно запускать в один поток!
- Номер конкурса шаблонов
- Четвертый конкурс шаблонов
- Уровень сложности
- Продвинутый
- Категория
- Парсинг
- SMM
