Парсер выдачи Google поиска

  • Автор темы Автор темы Hitachi
  • Дата начала Дата начала
Название тестового шаблона
google парсер test
Hitachi

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Реакции
348
Баллы
63
Описание

Парсер выдачи Google поиска - это дополнительный инструмент для эффективной работы SEO-специалиста и таргетолога. Бот собирает детальную информацию о конкурентах: используемые ключи, тексты объявлений, регионы размещения и т.д. Это позволяет оценить рекламу и качество оптимизации в Google.

Вручную собирать данные по сотням позиций долго и утомительно. Шаблон сильно упрощает работу за счет автоматизации процессов, которые отнимают значительную часть времени. Вам нужно лишь указать настройки, а парсер соберет необходимую информацию и сохранит результаты в таблицу.

Делегируйте рутинные задачи боту и успевайте гораздо больше!

Функционал

Шаблон переходит в настройки выдачи, устанавливает заданное во входных настройках количество результатов на странице.
Далее переходит на google.com, вводит поисковой запрос в строку поиска, проверяет загрузку страницы, парсит из каждого результата заголовок, ссылку, домен из ссылки, записывает строку в таблицу.
Переходит на следующую страницу, если это необходимо, проверяет загрузку новой страницы. Таким образом парсит данные с заданного во входных настройках числа страниц.
Далее шаблон сохраняет результаты в файл и переходит к следующему запросу, пока они не закончатся.

Как пользоваться?

Во входных настройках ввести один или несколько поисковых запросов (каждый с новой строки), выбрать количество результатов на странице, указать количество страниц для парсинга,
Выбрать сервис для решения recaptcha (либо установить галочку "Игнорировать рекапчу").
Если необходимо использовать прокси, добавить их в файл Proxy.txt
Результаты будут сохранены в папку Results в таблицу с уникальным именем "запрос_дата_время" в формате "Домен;Заголовок;URL"
 
Категория
  1. Парсинг
  2. SEO
Тип шаблона
Открытый
Многопоточность
Нет
Дата обновления
19.06.2020
Описание обновления
Изменён формат записи результатов.
Теперь данные в таблицу записываются в формате "Домен;Заголовок;URL"

Вложения

Последнее редактирование модератором:
  • Спасибо
Реакции: Old, impersky, Sdelkin и 8 других
Каптчами закидает.... Э т ж ГугОл
 
Я писал парсер под свои нужды. 1$ где-то сжирает на парсинг 400 запросов, конкретное количество каптч не считал. Надо будет прокси подключить к шаблону, а то не дело это )))
 
  • Спасибо
Реакции: leha52rus
Доброго дня @Hitachi
а под яндекс такой шаблон не выкладывали?
 
я скачал шаблон и он закрыт для редактирования и там нет входных настроек.
 
333.PNG

нужно было написать, что шаблон ТРЕБУЕТ такой-то версии и выше. у Вас здесь логика хромает
 
Добрый вечер , скажите а как настроить чтобы он парсил не по заголовкам, а по прямым вхождениям в контенте сайтов? Например:
лабрадор уход

нам надо собрать из топ 100 урлы в контенте/статье которых встречается вхождение ключа ’лабрадор уход’
и было бы круто если бы зеннопостер ещё подсчитывал количество найденных вхождений.
тоесть на выходе получаем урлы в которых встречается ключ, заголовок страницы и количество вхождений заданного ключа .
Можете подсказать как это допилить ?
 
bioboy написал(а):
Добрый вечер , скажите а как настроить чтобы он парсил не по заголовкам, а по прямым вхождениям в контенте сайтов? Например:
лабрадор уход

нам надо собрать из топ 100 урлы в контенте/статье которых встречается вхождение ключа ’лабрадор уход’
и было бы круто если бы зеннопостер ещё подсчитывал количество найденных вхождений.
тоесть на выходе получаем урлы в которых встречается ключ, заголовок страницы и количество вхождений заданного ключа .
Можете подсказать как это допилить ?
Нажмите для раскрытия...

В самом поисковике есть какое-то количество ключей, как на фото. Можно попробовать по ним искать.
Либо через запрос по каждой ссылке получать сам контент и искать уже в нём
 

Вложения

  • 142366.JPG
    142366.JPG
    195,1 KB · Просмотры: 824
спасибо,. не смог переделать парс под мобильную выдачу.
 
Hitachi написал(а):
Что именно не получилось?
Нажмите для раскрытия...
при получении ссылки вы "привязываетесь" к outerhtml-div-class-regexp-"^g$"/ всё прекрасно работает
в мобильной выдаче такой "привязки" нет, а зацепиться вообще за какой-либо class не могу, потому что они меняются.
 
JurgenZolle написал(а):
при получении ссылки вы "привязываетесь" к outerhtml-div-class-regexp-"^g$"/ всё прекрасно работает
в мобильной выдаче такой "привязки" нет, а зацепиться вообще за какой-либо class не могу, потому что они меняются.
Нажмите для раскрытия...

Как вариант, можно вот таким образом спарсить: сначала парсим класс нужного нам div'а в переменную, потом по этому классу парсим сами блоки.
Регулярки нужно будет подправить, но ссылка и заголовок в них есть
 

Вложения

Последнее редактирование:
  • Спасибо
Реакции: JurgenZolle
Спасибо! Очень полезно
 
  • Спасибо
Реакции: Santorini
Hitachi написал(а):
Как вариант
Нажмите для раскрытия...
благодарю, извлёк нужное - помогло. да и вообще, спасибо, много полезного узнаю из ваших шаблонов, даже не используя их...
касательного этого шаблона. регулярка отрабатывает не все урлы.
1.jpg2.jpg
 
  • Спасибо
Реакции: Hitachi
Можно ли доработать шаблон с игнорированием каптчи? Или лучше обратиться за доработкой в частном порядке?

Поясню. Есть дорген PandoraBox, который умеет парсить контент, игнорируя каптчу. Заранее парсишь кучу бесплатных прокси, запускаешь и ждешь. Если вылазит каптча, то встроенный парсер просто переходит к другому ip в списке и пробует. Всегда находится куча ip спарсить без каптчи. С первого захода обычно распарсиваются примерно 80-90% ключей.

Хотелось бы такой же функционал для ZP. Возможно, кто-то хочет доработать?
 
Aikes_2 написал(а):
Можно ли доработать шаблон с игнорированием каптчи? Или лучше обратиться за доработкой в частном порядке?

Поясню. Есть дорген PandoraBox, который умеет парсить контент, игнорируя каптчу. Заранее парсишь кучу бесплатных прокси, запускаешь и ждешь. Если вылазит каптча, то встроенный парсер просто переходит к другому ip в списке и пробует. Всегда находится куча ip спарсить без каптчи. С первого захода обычно распарсиваются примерно 80-90% ключей.

Хотелось бы такой же функционал для ZP. Возможно, кто-то хочет доработать?
Нажмите для раскрытия...

Шаблон обновлён, во входных настройках добавлен чекбокс "игнорировать рекапчу"
 
  • Спасибо
Реакции: Aikes_2 и Santorini
Интересен шаблон,какой формат socks5 давать?
и как связаться с тс?
 
Спасибо за отличный шаблон для получения поисковых URL и заголовка от Google.

Это работает гладко и генерирует файл Excel для каждого ключевого слова.

Нам нужно найти Google для ссылок для целей построения ссылок SEO. Могу ли я узнать, почему шаблон щелкает из 10 лучших результатов, а затем нажимает рядом со следующей страницей?

На google.com/preferences
Есть ползунок, чтобы перетащить значок, чтобы отобразить 100 результатов.
Можно ли напрямую искать топ-100 результатов?
 
zmike написал(а):
Нам нужно найти Google для ссылок для целей построения ссылок SEO. Могу ли я узнать, почему шаблон щелкает из 10 лучших результатов, а затем нажимает рядом со следующей страницей?
Нажмите для раскрытия...
То есть клик происходит мимо?
 
OuPAEh3.jpg


Я имею в виду здесь на google.com/preferences
Можно ли сначала посетить эту страницу, а затем перетащить ползунок на 100?
 
zmike написал(а):
Спасибо за отличный шаблон для получения поисковых URL и заголовка от Google.

Это работает гладко и генерирует файл Excel для каждого ключевого слова.

Нам нужно найти Google для ссылок для целей построения ссылок SEO. Могу ли я узнать, почему шаблон щелкает из 10 лучших результатов, а затем нажимает рядом со следующей страницей?

На google.com/preferences
Есть ползунок, чтобы перетащить значок, чтобы отобразить 100 результатов.
Можно ли напрямую искать топ-100 результатов?
Нажмите для раскрытия...


Шаблон обновлён, добавлена возможность выбрать количество результатов на странице
 
  • Спасибо
Реакции: zmike, alex1988 и ibred
Доброго дня @Hitachi
Шаблон на запросах или браузерный?
Что-то он у меня никак ни с прочеканными публичными проксями,ни с платными пакетными не запускается.
425e3f0f-8c39-4445-9c7f-4d5f9132baaa
Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска
 
She написал(а):
Доброго дня @Hitachi
Шаблон на запросах или браузерный?
Что-то он у меня никак ни с прочеканными публичными проксями,ни с платными пакетными не запускается.
425e3f0f-8c39-4445-9c7f-4d5f9132baaa
Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска
Нажмите для раскрытия...

Добрый день.
Шаблон браузерный. Так и не удалось запустить шаблон?
 
ibred написал(а):
Да. @Hitachi добавит данную функцию в след. обновлении.
Нажмите для раскрытия...

А редактирование количества результатов google точно работает как надо?

Перекинул этот кусочек себе в ProjectMaker и оно походу не отрабатывает.

Пробовал сам сдвигать ползунок, но он постоянно уходит в меньшую сторону. :dy:

Подскажите как правильно реализовать смену количества результатов выдачи google?

--------------------------------------------
Получил ответ в соседней ветке, без танцев с бубнами


Добавляешь &num=100 в ссылку и двигать ничего не нужно
 
Последнее редактирование:
  • Спасибо
Реакции: faros73
Войдите или зарегистрируйтесь для ответа.

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)

Сверху Снизу