Как правильно парсить гугл??

[nikakoss]

Всем привет!
Поделитесь информацией, люди добрые! Парсю гугл сутками, по основному запросу в выдаче 113000 результатов. Запросы формируются след. образом: основной запрос + фраза\слова из словаря. После того как напарсится 400к, с помощью baseeditor'a фильтрую по уникальным доменам - результат 2130шт. Пробовал еще пару раз = 2100-2140 тех же самых. Не пойму что за фигня (((
Я прям хз что делать...........

 

[quick]

ну так не факт, что 113000 это уникальные домены. Скорее всего страницы, которые на 2130 доменах.

 

[nikakoss]

спарсил с аола - 29млн ссылок, уникальных доменов 5к, пипец какой то....

 

[chakki]

мне и 20 доменов хватает чтобы топ делать
подумай еще )))

 

[Nick]

Как проще всего парсить выдачу гугла? Нужны и адреса страниц, и контакты, размещённые на них. Прокси, рандомизация запросов... всё равно, быстро появляется капча и потом — бан. Какие есть ещё трюки?
Не хочу заводить такую же тему, потому что эта идеально подходит под мой запрос.