Парсер выдачи Google поиска

[Hitachi]

Описание

Парсер выдачи Google поиска - это дополнительный инструмент для эффективной работы SEO-специалиста и таргетолога. Бот собирает детальную информацию о конкурентах: используемые ключи, тексты объявлений, регионы размещения и т.д. Это позволяет оценить рекламу и качество оптимизации в Google.

Вручную собирать данные по сотням позиций долго и утомительно. Шаблон сильно упрощает работу за счет автоматизации процессов, которые отнимают значительную часть времени. Вам нужно лишь указать настройки, а парсер соберет необходимую информацию и сохранит результаты в таблицу.

Делегируйте рутинные задачи боту и успевайте гораздо больше!

Функционал

Шаблон переходит в настройки выдачи, устанавливает заданное во входных настройках количество результатов на странице.
Далее переходит на google.com, вводит поисковой запрос в строку поиска, проверяет загрузку страницы, парсит из каждого результата заголовок, ссылку, домен из ссылки, записывает строку в таблицу.
Переходит на следующую страницу, если это необходимо, проверяет загрузку новой страницы. Таким образом парсит данные с заданного во входных настройках числа страниц.
Далее шаблон сохраняет результаты в файл и переходит к следующему запросу, пока они не закончатся.

Как пользоваться?

Во входных настройках ввести один или несколько поисковых запросов (каждый с новой строки), выбрать количество результатов на странице, указать количество страниц для парсинга,
Выбрать сервис для решения recaptcha (либо установить галочку "Игнорировать рекапчу").
Если необходимо использовать прокси, добавить их в файл Proxy.txt
Результаты будут сохранены в папку Results в таблицу с уникальным именем "запрос_дата_время" в формате "Домен;Заголовок;URL"

 

[leha52rus]

Каптчами закидает.... Э т ж ГугОл

 

[TwistDanceR]

Я писал парсер под свои нужды. 1$ где-то сжирает на парсинг 400 запросов, конкретное количество каптч не считал. Надо будет прокси подключить к шаблону, а то не дело это )))

 

[She]

Доброго дня @Hitachi
а под яндекс такой шаблон не выкладывали?

 

[Hitachi]

Доброго дня @Hitachi
а под яндекс такой шаблон не выкладывали?

Добрый день.
Есть и под Яндекс https://zennolab.com/discussion/threads/parser-vydachi-jandeks-poiska.66413/

 

[OlegR]

я скачал шаблон и он закрыт для редактирования и там нет входных настроек.

 

[Hitachi]

я скачал шаблон и он закрыт для редактирования и там нет входных настроек.

Минимальная версия ЗП 5.29.6. У Вас, вероятно, версия ниже

 

[OlegR]

нужно было написать, что шаблон ТРЕБУЕТ такой-то версии и выше. у Вас здесь логика хромает

 

[bioboy]

Добрый вечер , скажите а как настроить чтобы он парсил не по заголовкам, а по прямым вхождениям в контенте сайтов? Например:
лабрадор уход

нам надо собрать из топ 100 урлы в контенте/статье которых встречается вхождение ключа ’лабрадор уход’
и было бы круто если бы зеннопостер ещё подсчитывал количество найденных вхождений.
тоесть на выходе получаем урлы в которых встречается ключ, заголовок страницы и количество вхождений заданного ключа .
Можете подсказать как это допилить ?

 

[Hitachi]

Добрый вечер , скажите а как настроить чтобы он парсил не по заголовкам, а по прямым вхождениям в контенте сайтов? Например:
лабрадор уход

нам надо собрать из топ 100 урлы в контенте/статье которых встречается вхождение ключа ’лабрадор уход’
и было бы круто если бы зеннопостер ещё подсчитывал количество найденных вхождений.
тоесть на выходе получаем урлы в которых встречается ключ, заголовок страницы и количество вхождений заданного ключа .
Можете подсказать как это допилить ?

В самом поисковике есть какое-то количество ключей, как на фото. Можно попробовать по ним искать.
Либо через запрос по каждой ссылке получать сам контент и искать уже в нём

 

[JurgenZolle]

спасибо,. не смог переделать парс под мобильную выдачу.

 

[Hitachi]

спасибо,. не смог переделать парс под мобильную выдачу.

Что именно не получилось?

 

[JurgenZolle]

Что именно не получилось?

при получении ссылки вы "привязываетесь" к outerhtml-div-class-regexp-"^g$"/ всё прекрасно работает
в мобильной выдаче такой "привязки" нет, а зацепиться вообще за какой-либо class не могу, потому что они меняются.

 

[Hitachi]

при получении ссылки вы "привязываетесь" к outerhtml-div-class-regexp-"^g$"/ всё прекрасно работает
в мобильной выдаче такой "привязки" нет, а зацепиться вообще за какой-либо class не могу, потому что они меняются.

Как вариант, можно вот таким образом спарсить: сначала парсим класс нужного нам div'а в переменную, потом по этому классу парсим сами блоки.
Регулярки нужно будет подправить, но ссылка и заголовок в них есть

 

[Lex]

Спасибо! Очень полезно

 

[JurgenZolle]

Как вариант

благодарю, извлёк нужное - помогло. да и вообще, спасибо, много полезного узнаю из ваших шаблонов, даже не используя их...
касательного этого шаблона. регулярка отрабатывает не все урлы.

Спойлер: как пример

 

[Aikes_2]

Можно ли доработать шаблон с игнорированием каптчи? Или лучше обратиться за доработкой в частном порядке?

Поясню. Есть дорген PandoraBox, который умеет парсить контент, игнорируя каптчу. Заранее парсишь кучу бесплатных прокси, запускаешь и ждешь. Если вылазит каптча, то встроенный парсер просто переходит к другому ip в списке и пробует. Всегда находится куча ip спарсить без каптчи. С первого захода обычно распарсиваются примерно 80-90% ключей.

Хотелось бы такой же функционал для ZP. Возможно, кто-то хочет доработать?

 

[Hitachi]

Можно ли доработать шаблон с игнорированием каптчи? Или лучше обратиться за доработкой в частном порядке?

Поясню. Есть дорген PandoraBox, который умеет парсить контент, игнорируя каптчу. Заранее парсишь кучу бесплатных прокси, запускаешь и ждешь. Если вылазит каптча, то встроенный парсер просто переходит к другому ip в списке и пробует. Всегда находится куча ip спарсить без каптчи. С первого захода обычно распарсиваются примерно 80-90% ключей.

Хотелось бы такой же функционал для ZP. Возможно, кто-то хочет доработать?

Шаблон обновлён, во входных настройках добавлен чекбокс "игнорировать рекапчу"

 

[AlexT456]

Интересен шаблон,какой формат socks5 давать?
и как связаться с тс?

 

[Hitachi]

Интересен шаблон,какой формат socks5 давать?
и как связаться с тс?

socks5://login:password@ip:port

Написать можно в ЛС, если есть вопросы по шаблону

 

[zmike]

Спасибо за отличный шаблон для получения поисковых URL и заголовка от Google.

Это работает гладко и генерирует файл Excel для каждого ключевого слова.

Нам нужно найти Google для ссылок для целей построения ссылок SEO. Могу ли я узнать, почему шаблон щелкает из 10 лучших результатов, а затем нажимает рядом со следующей страницей?

На google.com/preferences
Есть ползунок, чтобы перетащить значок, чтобы отобразить 100 результатов.
Можно ли напрямую искать топ-100 результатов?

 

[ibred]

Нам нужно найти Google для ссылок для целей построения ссылок SEO. Могу ли я узнать, почему шаблон щелкает из 10 лучших результатов, а затем нажимает рядом со следующей страницей?

То есть клик происходит мимо?

 

[zmike]

Я имею в виду здесь на google.com/preferences
Можно ли сначала посетить эту страницу, а затем перетащить ползунок на 100?

 

[ibred]

Я имею в виду здесь на google.com/preferences
Можно ли сначала посетить эту страницу, а затем перетащить ползунок на 100?

Да, сделаем

 

[zmike]

Да, сделаем

Вы хотите добавить эту функцию?

 

[ibred]

Вы хотите добавить эту функцию?

Да. @Hitachi добавит данную функцию в след. обновлении.

 

[Hitachi]

Спасибо за отличный шаблон для получения поисковых URL и заголовка от Google.

Это работает гладко и генерирует файл Excel для каждого ключевого слова.

Нам нужно найти Google для ссылок для целей построения ссылок SEO. Могу ли я узнать, почему шаблон щелкает из 10 лучших результатов, а затем нажимает рядом со следующей страницей?

На google.com/preferences
Есть ползунок, чтобы перетащить значок, чтобы отобразить 100 результатов.
Можно ли напрямую искать топ-100 результатов?

Шаблон обновлён, добавлена возможность выбрать количество результатов на странице

 

[She]

Доброго дня @Hitachi
Шаблон на запросах или браузерный?
Что-то он у меня никак ни с прочеканными публичными проксями,ни с платными пакетными не запускается.
425e3f0f-8c39-4445-9c7f-4d5f9132baaa
Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска

 

[Hitachi]

Доброго дня @Hitachi
Шаблон на запросах или браузерный?
Что-то он у меня никак ни с прочеканными публичными проксями,ни с платными пакетными не запускается.
425e3f0f-8c39-4445-9c7f-4d5f9132baaa
Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска

Добрый день.
Шаблон браузерный. Так и не удалось запустить шаблон?

 

[ogri]

Да. @Hitachi добавит данную функцию в след. обновлении.

А редактирование количества результатов google точно работает как надо?

Перекинул этот кусочек себе в ProjectMaker и оно походу не отрабатывает.

Пробовал сам сдвигать ползунок, но он постоянно уходит в меньшую сторону.

Подскажите как правильно реализовать смену количества результатов выдачи google?

--------------------------------------------
Получил ответ в соседней ветке, без танцев с бубнами


Добавляешь &num=100 в ссылку и двигать ничего не нужно