Выдача гугл
- Автор темы stanar
- Дата начала
- Регистрация
- 19.12.2015
- Сообщения
- 315
- Благодарностей
- 157
- Баллы
- 43
Да любой. Любое словосочетание выдает 30 страниц, парсер их проходит и все, дальше нет выдачи. Парсер нажимает не на номер страницы в поиске, а на кнопку следующие. Останавливается на 33. По запросу "кино" на рабочем месте выдает овер 40 и дальше, а дома только 30
ZennoScript
Moderator
- Регистрация
- 04.03.2011
- Сообщения
- 4 451
- Благодарностей
- 1 885
- Баллы
- 113
zortexx
Client
- Регистрация
- 19.09.2011
- Сообщения
- 2 520
- Благодарностей
- 1 226
- Баллы
- 113
Проблеме уже несколько лет.Спасибо. Руками все просматривается, а не парсится...
При правильном подходе гуглу затруднительно определить происходит ли парсинг, или просмотр осуществляется вручную. Мера превентивная. Решается только так, или парсингом клонов поисковика.
P.S.: Благодарность принято выражать нажимая Мне нравится под полезными сообщениями
sevenoffer
Client
- Регистрация
- 11.05.2016
- Сообщения
- 32
- Благодарностей
- 138
- Баллы
- 33
- Регистрация
- 19.12.2015
- Сообщения
- 315
- Благодарностей
- 157
- Баллы
- 43
Прямой. Через API другие результаты?
Хм, попробовал дома руками - пускает до 40 страницы и дальше. Похоже гугл видит парсинг. Буду пробовать эмуляции с паузами.
zortexx
Client
- Регистрация
- 19.09.2011
- Сообщения
- 2 520
- Благодарностей
- 1 226
- Баллы
- 113
В случае с гуглом подход должен быть комплексным:
- По возможности используйте чистые IP.
- Используйте https соединение.
- Авторизуйтесь.
- Используйте случайные "человеческие" паузы (например, от 10 до 17 секунд - подбирается индивидуально)
Единственное, что реально работает - слиться с толпой
Для многопоточного парсинга с данными предосторожностями понадобятся чистые прокси с привязкой к аккаунту на каждый поток.