Парсер поисковой выдачи seznam.cz

[Hitachi]

Описание

Шаблон открывает сайт search.seznam.cz, вводит поисковой запрос.
Далее для каждой страницы решает капчу, если она возникает, проверяет загрузку нужной страницы, парсит все результаты в список.
После этого берёт результаты по одному, из каждого парсит заголовок, ссылку, домен из ссылки, проверяет на рекламу. Добавляет строку в таблицу.
Когда спаршено нужное количество страниц, сохраняет таблицу в файл.

Как пользоваться?

Во входных настройках ввести поисковые запросы, выбрать капча-модуль и указать количество страниц, которое нужно спарсить.
Для работы через прокси, добавить их в файл proxy.txt.

Результаты сохраняются в папку Results в .csv файл с названием "Запрос_дата_время" в формате "Домен;Заголовок;Ссылка;Реклама".
В последний столбец записывается слово "Reklama", если ссылка рекламная