Парсер выдачи Яндекс поиска

[Hitachi]

Описание

Парсер выдачи Яндекс поиска - это дополнительный инструмент для эффективной работы SEO-специалиста и таргетолога. Бот собирает детальную информацию о конкурентах: используемые ключи, тексты объявлений, регионы размещения и т.д. Это позволяет оценить рекламу и качество оптимизации в Яндексе.

Вручную собирать данные по сотням позиций долго и утомительно. Шаблон сильно упрощает работу за счет автоматизации процессов, которые отнимают значительную часть времени. Вам нужно лишь указать настройки, а парсер соберет необходимую информацию и сохранит результаты в таблицу.

Делегируйте рутинные задачи боту и успевайте гораздо больше!

Функционал

Шаблон переходит на сайт Яндекса, открывает страницу выбора региона, вводит значение из входных настроек.
Возвращается на главную страницу, вводит поисковой запрос в строку поиска, парсит с первой страницы все результаты, переходит на следующую страницу. Парсит данные с заданного во входных настройках числа страниц.
После этого из спаршенных результатов, по одному, парсит URL, заголовок, домен из URL и рекламную метку, если есть.
Результаты сохраняются в таблицу с уникальным именем "запрос_дата_время".
Далее шаблон переходит к следующему запросу, если их введено несколько.

Как пользоваться?

Во входных настройках:

• указать количество страниц поиска для парсинга;
• ввести регион поиска;
• выбрать капча-модуль;
• указать количество попыток решить капчу.

Добавить поисковые запросы в файл Запросы.txt.

Если необходимо использовать прокси, добавить их в файл Proxy.txt

Результаты будут сохранены в папку Results в формате "URL;Заголовок;Домен;Реклама"
В четвёртом столбце ставится отметка, если ссылка является рекламной. Иначе ячейка остаётся пустой

 

[specialist]

несколько поисковых запросов (каждый с новой строки), указать количество страниц поиска для парсинга

Где выбор региона?
В зависимости от прокси результаты будут отличаться даже для одного запроса

 

[Hitachi]

Где выбор региона?
В зависимости от прокси результаты будут отличаться даже для одного запроса

Шаблон обновлён, добавлен выбор региона

 

[kveldulv]

Is it possible to make it work ion 5.14 of zenno?

Thanks.

 

[ibred]

Is it possible to make it work ion 5.14 of zenno?

The project was created using the Chrome browser. To work correctly, you need at least version 5.29.6.0.

 

[serg2020]

Было бы неплохо, если бы еще позиции собирались, включая директ, и отдельно название домена.

 

[dzedun007]

Сhrome блокирует загрузку... Скачал Оперой. А где настройки вводить? Настроек нет никаких- ни региона, ни ключевых слов ничего! только файл приложен Proxy.txt...

 

[Hitachi]

Сhrome блокирует загрузку... Скачал Оперой. А где настройки вводить? Настроек нет никаких- ни региона, ни ключевых слов ничего! только файл приложен Proxy.txt...

Входные настройки открываются двойным кликом по проекту, после того, как его добавили в ZennoPoster

 

[She]

Доброго дня @Hitachi спасибо за шаблон.
Часто вылетает вот такая ошибка
c81bbbdc-0cc1-4570-acfd-2bddb8bdd26e
Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска

 

[Hitachi]

Доброго дня @Hitachi спасибо за шаблон.
Часто вылетает вот такая ошибка
c81bbbdc-0cc1-4570-acfd-2bddb8bdd26e
Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска

Скорее всего дело в прокси, страницы долго грузятся. Можно увеличить паузу перед эти действием

 

[des05]

Добрый день @Hitachi
Спасибо за шаблон.
Есть ли возможность почистить выводимые урлы до вида domen.ru? Возможно, уже есть такая модификация?

upd
Нашел в гугле

 

[Harvad]

Добрый день @Hitachi
Спасибо за шаблон.
Есть ли возможность почистить выводимые урлы до вида domen.ru? Возможно, уже есть такая модификация?

upd
Нашел в гугле

Не поделитесь результатом?) Нужен такой же функционал)

 

[des05]

Не поделитесь результатом?) Нужен такой же функционал)

Пожалуйста

Конвертация списка адресов URL с http/https в список доменов | SEOquick

Удобный инструмент для линкбилдеров по конвертации веб адресов URL в список доменов с удалением дублей и разбивкой по 200 штук.

seoquick.ru

 

[b1zar]

Не поделитесь результатом?) Нужен такой же функционал)

Да это все можно сделать в зенке через regex.

Сначала проходишь этой регуляркой
[\w-]+.[\w-]+\.\w+(?=/|\n|$)\/+[a-zA-Zа-яА-ЯёЁ0-9_-]*|[\w-]+\.\w+(?=/|\n|$)\/+[a-zA-Zа-яА-ЯёЁ0-9_-]*

потом проходишь второй
[\w-]+.[\w-]+\.\w+(?=/|\n|$)

Можешь сразу второй, но ссылки на подобие этой "https://zennolab.com/discussion/threads/parser-vydachi-jandeks-poiska.66413/" будут выдавать мусор

 

[des05]

@Hitachi, введите пожалуйста указанный функционал в шаблон. Можно оформить еще один столбец рядом с ссылками с выдачи в ПС и ЯД
Ну и аналог в остальных репликах для Гугла и Майла

 

[Hitachi]

@Hitachi, введите пожалуйста указанный функционал в шаблон. Можно оформить еще один столбец рядом с ссылками с выдачи в ПС и ЯД
Ну и аналог в остальных репликах для Гугла и Майла

Шаблон обновлён, добавлен столбец с доменами

 

[des05]

Аварийно завершает
5541c260-8776-4303-8265-22c8a557d214

 

[profi88]

Доброго!
в папку Results
- где это папка?

 

[Hitachi]

Доброго!
в папку Results
- где это папка?

Добрый день.
Папка Results создаётся в папке, в которой лежит проект

 

[Hitachi]

Аварийно завершает
5541c260-8776-4303-8265-22c8a557d214

Спасибо, обновил шаблон

 

[profi88]

Добрый день.
Папка Results создаётся в папке, в которой лежит проект

Добрый день.
Она создается автоматом программой или руками нужно ее создать?

 

[Hitachi]

Добрый день.
Она создается автоматом программой или руками нужно ее создать?

Создаётся автоматически после успешного выполнения.
Далее все результаты в неё сохраняются

 

[profi88]

У меня как раз она не создается

 

[Hitachi]

У меня как раз она не создается

Что в логе ZennoPoster при выполнении?
Проект успешно завершается?

 

[profi88]

да, прокси нормальные, может формат прокси не поддерживает?

{ip}:{port}:{login}:{password}

 

[Hitachi]

да, прокси нормальные, может формат прокси не поддерживает?

{ip}:{port}:{login}:{password}

Прокси в формате protocol://login:pass@ip:port

 

[profi88]

Прокси в формате protocol://login:pass@ip:port

Все работает корректно ( ЧЕРЕЗ впн ) , спасибо!

 

[cafen]

Архив битый, не открывается

 

[Hitachi]

Архив битый, не открывается

Да вроде открывается без проблем.
Прикрепляю пересозданный

 

[surf]

Да вроде открывается без проблем.
Прикрепляю пересозданный

Приветствую. Есть ли возможность сделать шаблон для версии 5.29?