Добрый день всем!
Не могу понять, почему Google банит IP при парсинге длинным запросом, но не банит при парсинге коротким простым запросом.
К примеру, я ищу в зоне .ru сайты, которые содержат определённую фразу из 4-х слов.
При этом Google не ругается даже без использования прокси и спокойно отрабатывает проект с сохранением результатов в файл.
Но, при попытке заминусовать из выдачи сайты с форумами (используя маску Powered by_такой_то_движок для 5 движков) - Goggle чуть ли не мгновенно банит IP.
При этом использование свежих найденных живых прокси из проксичекера для выполнения проекта также не помогает.
Если ту же операцию проделать вручную, а не через Зенку, то IP он не банит, но всякий раз заставляет вводить каптчу.
Что может приводить к такому результату? И как обойти?
Не могу понять, почему Google банит IP при парсинге длинным запросом, но не банит при парсинге коротким простым запросом.
К примеру, я ищу в зоне .ru сайты, которые содержат определённую фразу из 4-х слов.
При этом Google не ругается даже без использования прокси и спокойно отрабатывает проект с сохранением результатов в файл.
Но, при попытке заминусовать из выдачи сайты с форумами (используя маску Powered by_такой_то_движок для 5 движков) - Goggle чуть ли не мгновенно банит IP.
При этом использование свежих найденных живых прокси из проксичекера для выполнения проекта также не помогает.
Если ту же операцию проделать вручную, а не через Зенку, то IP он не банит, но всякий раз заставляет вводить каптчу.
Что может приводить к такому результату? И как обойти?