Парсер поисковой выдачи duckduckgo.com

  • Автор темы Автор темы Hitachi
  • Дата начала Дата начала
Название тестового шаблона
Парсер поисковой выдачи duckduckgo.com test

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Реакции
348
Баллы
63
Описание

Шаблон переходит на сайт duckduckgo.com, вводит поисковой запрос, выбирает регион поиска и период, если они указаны во входных настройках.
Далее загружает нужное количество результатов на странице, парсит все результаты в список.
После этого берёт результаты из списка по одному, парсит из них заголовок, ссылку, домен из ссылки и проверяет, являет ли ссылка рекламной. Записывает строку в таблицу.
Когда запрос полностью обработан, сохраняет таблицу в файл.

Как пользоваться?

Во входных настройках ввести поисковые запросы, указать количество результатов, которые нужно спарсить, выбрать период и указать регион (страну).
Регион можно оставить пустым, период по умолчанию выбран "За всё время".

Для работы через прокси, добавить их в файл proxy.txt.

Результаты сохраняются в .csv файл с названием "Запрос_дата_время" в папку Results в формате "Домен;Заголовок;Ссылка;рекламный идентификатор".
 
Категория
  1. Парсинг
  2. SEO
Тип шаблона
Открытый
Многопоточность
Нет
Дата обновления
23.06.2020
Описание обновления
Изменён формат записи в таблицу.
Теперь результаты сохраняются в формате "Домен;Заголовок;Ссылка;Реклама"

Вложения

Последнее редактирование:
  • Спасибо
Реакции: popobawa

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)