Парсинг посковиков.

[GreenWay]

Парсинг посковиков. Как сниппеты так и урлы. Именно методом GET и POST запросов.
В некоторых поисковиках не видно результатов запроса. Как их достать?
Для примера поисковики:
LUKOL.COM выдача google
http://www.lukol.com/s.php?q=hello+dolly#gsc.tab=0&gsc.q=hello%20dolly

AOL.COM выдача google
http://search.aol.com/aol/search?enabled_terms=&s_it=comsearch&q=hello+dolly&s_chn=prt_aol20-ns

WEBCRAWLER.COM
http://www.webcrawler.com/search/web?q=hello+dolly

 

[Severip]

Не только поисковики, но и некоторые сайты тоже ведут себе подобным образом - решения не нашел.
Не переключаться же на браузер, чтоб забрать страничку через DOM.
Подпишусь на тему.

 

[rostonix]

GET отдает исходный код страницы, как и POST. При этом никакие скрипты на странице не выполняются. Если те или иные данные выдаются после работы скриптов, то используйте браузер.

 

[stas11]

Подскажите, как спарсить выдачу гугла? Конкретно интересует тайтлы и кейворды сайтов с выдачи.
для примера по этой ссылке
https://www.google.com.ua/?gws_rd=ssl#q=купить+планшет

Подаю get-запрос или напрямую через браузер dom, но получаю код без ссылок на выдачу. С яндексом все просто, но интересует конкретно гугл.

 

[stas11]

мне нужно собрать все строки с h3, их можно собрать с помощью атрибута outerhtml при get-запросе
Но таких строк получается от 10 до 20 (зависит от рекламы). Мне надо делать на каждую строку отдельный get-запрос или можно как-то попроще это реализовать?
через dom не могу - так как гугл не отдает в коде страницы ссылки на выдачу

 

[rostonix]

http://www.google.com.ua/search?num=100&newwindow=1&site=webhp&source=hp&q=КЛЮЧЕВОЕСЛОВО

 

[stas11]

Большое спасибо!

 

[Botin]

http://www.google.com.ua/search?num=100&newwindow=1&site=webhp&source=hp&q=КЛЮЧЕВОЕСЛОВО

Через этот код максимум 97 сайтов берутся. Больше нельзя?

 

[rostonix]

максимум 100 элементов отдает. Остальные только используя номер страницы в запросе. Сравните URL Первой страницы выдачи и второй, найдите отличия, реализуйте счетчик, который будет эти значения менять.