- Регистрация
- 25.09.2019
- Сообщения
- 384
- Реакции
- 348
- Баллы
- 63
Описание
Шаблон переходит на сайт mail.ru, открывает выбор региона, вводит значение из переменной, выбирает первый из списка.
Если регион не единственный в списке - выводится предупреждение. Если региона нет - выводится ошибка.
Далее шаблон вводит поисковой запрос, переходит к странице выдачи. Проверяется загрузка страницы по нажатой кнопке.
Если какая-то страница не грузится - очищается таблица, меняется прокси, парсинг для этого запроса начинается сначала.
На загруженной странице шаблон парсит ссылки, заголовки, домен из ссылки, записывает строки в таблицу, переходит на следующую страницу.
Когда все страницы пройдены, таблица сохраняется в файл, очищается.
Работа шаблона завершается, когда обработаны все запросы.
Как пользоваться?
Во входных настройках ввести поисковые запросы, указать количество страниц для парсинг и регион поиска. Выбрать, нужно ли парсить рекламные ссылки.
Для работы через прокси, добавить их в файл proxy.txt.
Результаты сохраняются в таблицу с уникальным именем "запрос_дата_время" в формате "Домен;Заголовок;URL;Реклама"
Если возле ссылки есть рекламная кнопка, в 4 столбец записывается текст этой кнопки
Шаблон переходит на сайт mail.ru, открывает выбор региона, вводит значение из переменной, выбирает первый из списка.
Если регион не единственный в списке - выводится предупреждение. Если региона нет - выводится ошибка.
Далее шаблон вводит поисковой запрос, переходит к странице выдачи. Проверяется загрузка страницы по нажатой кнопке.
Если какая-то страница не грузится - очищается таблица, меняется прокси, парсинг для этого запроса начинается сначала.
На загруженной странице шаблон парсит ссылки, заголовки, домен из ссылки, записывает строки в таблицу, переходит на следующую страницу.
Когда все страницы пройдены, таблица сохраняется в файл, очищается.
Работа шаблона завершается, когда обработаны все запросы.
Как пользоваться?
Во входных настройках ввести поисковые запросы, указать количество страниц для парсинг и регион поиска. Выбрать, нужно ли парсить рекламные ссылки.
Для работы через прокси, добавить их в файл proxy.txt.
Результаты сохраняются в таблицу с уникальным именем "запрос_дата_время" в формате "Домен;Заголовок;URL;Реклама"
Если возле ссылки есть рекламная кнопка, в 4 столбец записывается текст этой кнопки
- Категория
- Парсинг
- SEO
- Тип шаблона
- Открытый
- Многопоточность
- Нет
- Дата обновления
- 08.12.2020
- Описание обновления
- Шаблон обновлён под изменения на сайте
Последнее редактирование:
