Как правильно парсить гугл??

nikakoss

Client
Регистрация
22.04.2011
Сообщения
127
Благодарностей
3
Баллы
18
Всем привет!
Поделитесь информацией, люди добрые! Парсю гугл сутками, по основному запросу в выдаче 113000 результатов. Запросы формируются след. образом: основной запрос + фраза\слова из словаря. После того как напарсится 400к, с помощью baseeditor'a фильтрую по уникальным доменам - результат 2130шт. Пробовал еще пару раз = 2100-2140 тех же самых. Не пойму что за фигня (((
Я прям хз что делать...........
 

quick

Client
Регистрация
10.08.2010
Сообщения
63
Благодарностей
1
Баллы
8
ну так не факт, что 113000 это уникальные домены. Скорее всего страницы, которые на 2130 доменах.
 

nikakoss

Client
Регистрация
22.04.2011
Сообщения
127
Благодарностей
3
Баллы
18
спарсил с аола - 29млн ссылок, уникальных доменов 5к, пипец какой то....
 

chakki

Client
Регистрация
12.10.2010
Сообщения
117
Благодарностей
3
Баллы
0
мне и 20 доменов хватает чтобы топ делать
подумай еще )))
 

Nick

Client
Регистрация
22.07.2014
Сообщения
1 982
Благодарностей
817
Баллы
113
Как проще всего парсить выдачу гугла? Нужны и адреса страниц, и контакты, размещённые на них. Прокси, рандомизация запросов... всё равно, быстро появляется капча и потом — бан. Какие есть ещё трюки?
Не хочу заводить такую же тему, потому что эта идеально подходит под мой запрос.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)