Парсер выдачи поисковика Mail.ru

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Описание

Шаблон переходит на сайт mail.ru, открывает выбор региона, вводит значение из переменной, выбирает первый из списка.
Если регион не единственный в списке - выводится предупреждение. Если региона нет - выводится ошибка.
Далее шаблон вводит поисковой запрос, переходит к странице выдачи. Проверяется загрузка страницы по нажатой кнопке.
Если какая-то страница не грузится - очищается таблица, меняется прокси, парсинг для этого запроса начинается сначала.
На загруженной странице шаблон парсит ссылки, заголовки, домен из ссылки, записывает строки в таблицу, переходит на следующую страницу.
Когда все страницы пройдены, таблица сохраняется в файл, очищается.
Работа шаблона завершается, когда обработаны все запросы.


Как пользоваться?

Во входных настройках ввести поисковые запросы, указать количество страниц для парсинг и регион поиска. Выбрать, нужно ли парсить рекламные ссылки.
Для работы через прокси, добавить их в файл proxy.txt.
Результаты сохраняются в таблицу с уникальным именем "запрос_дата_время" в формате "Домен;Заголовок;URL;Реклама"
Если возле ссылки есть рекламная кнопка, в 4 столбец записывается текст этой кнопки
 
Категория
Парсинг, SEO
Тип шаблона
Открытый
Многопоточность
Нет
Дата обновления
08.12.2020
Описание обновления
Шаблон обновлён под изменения на сайте

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Последнее редактирование:
  • Спасибо
Реакции: des05

des05

Client
Регистрация
18.12.2019
Сообщения
75
Благодарностей
18
Баллы
8

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Шаб завершил проект сразу после первого запроса
Какая-то ошибка есть в логе?
Пришлите скрин, как завершается, и id действия, на котором ошибка возникает, если есть она
 

des05

Client
Регистрация
18.12.2019
Сообщения
75
Благодарностей
18
Баллы
8

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63

des05

Client
Регистрация
18.12.2019
Сообщения
75
Благодарностей
18
Баллы
8

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63

profi88

Client
Регистрация
10.09.2018
Сообщения
227
Благодарностей
34
Баллы
28
Доброго!

1. В каком формате ввести proxy?
 
Последнее редактирование:

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63

profi88

Client
Регистрация
10.09.2018
Сообщения
227
Благодарностей
34
Баллы
28

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)