Выдача гугл

[stanar]

Подскажите, почему поиск гугл выдает только 30 страниц, хотя найденных гораздо больше?

 

[rostonix]

пример запроса?

 

[stanar]

Да любой. Любое словосочетание выдает 30 страниц, парсер их проходит и все, дальше нет выдачи. Парсер нажимает не на номер страницы в поиске, а на кнопку следующие. Останавливается на 33. По запросу "кино" на рабочем месте выдает овер 40 и дальше, а дома только 30

 

[zortexx]

Это сделано чтобы затруднить парсинг.
Можно использовать библиотеки дополнительных слов/словосочетаний для более полного извлечения данных.

 

[stanar]

Спасибо. Руками все просматривается, а не парсится...

 

[ZennoScript]

Дома у Вас может стоят другие настройки таргетинга, чем на работе. Или другие какие фильтры. Потому и результаты разнятся.

 

[zortexx]

Спасибо. Руками все просматривается, а не парсится...

Проблеме уже несколько лет.
При правильном подходе гуглу затруднительно определить происходит ли парсинг, или просмотр осуществляется вручную. Мера превентивная. Решается только так, или парсингом клонов поисковика.

P.S.: Благодарность принято выражать нажимая Мне нравится под полезными сообщениями

 

[sevenoffer]

Подскажите, почему поиск гугл выдает только 30 страниц, хотя найденных гораздо больше?

Прямой поиск или API?

 

[stanar]

Прямой поиск или API?

Прямой. Через API другие результаты?
Хм, попробовал дома руками - пускает до 40 страницы и дальше. Похоже гугл видит парсинг. Буду пробовать эмуляции с паузами.

 

[zortexx]

Прямой. Через API другие результаты?
Хм, попробовал дома руками - пускает до 40 страницы и дальше. Похоже гугл видит парсинг. Буду пробовать эмуляции с паузами.

В случае с гуглом подход должен быть комплексным:

1. По возможности используйте чистые IP.
2. Используйте https соединение.
3. Авторизуйтесь.
4. Используйте случайные "человеческие" паузы (например, от 10 до 17 секунд - подбирается индивидуально)

Приведенные выше манипуляции не панацея, у гугля в рукаве слишком много данных для анализа аномальной активности.
Единственное, что реально работает - слиться с толпой

Для многопоточного парсинга с данными предосторожностями понадобятся чистые прокси с привязкой к аккаунту на каждый поток.

 

[stanar]

Парсю в один поток. (Парсю?)
Авторизован. Айпи чистый, домашний я бы сказал. Буду мутить паузы