Бан на сайте при Get запросах парсинге

[Se0mashines]

Собираю информацию на авторитетном англ. сайте. За 2 работы недели посетил 40млн урл. .

Работает в 120 потоков, посещает в минуту 6к урл.
Прокси 350 штук (уже в бане у этого сайта)
Шаблон выполняется по кругу в цикле по 300 раз.
Get запросы без использования браузера.

Думаю взять 1к прокси, но боюсь что их тоже забанят, да и в первый день. Дайте пожалуйста годный совет.

Что это может быть? Ручной бан на сайте, или автоматический фаерволом на серваке?

Юзерагент без браузера работает? или нужно его задавать в шаге проекта?
Может отключить цикл, и по одному разу проект прогонять?

Вобщем буду рад любым советам по поводу блокировки.

 

[Gfoblin]

Я б за такое тоже забанил )
Может автоматом улетать... а может и ручками...

 

[rostonix]

да тупо по IP банят наверн
я бы тоже забанил
40 миллионов урлов

 

[ZennoScript]

Юзерагенты подставляются в Get запросах.
Но с такой скоростью обращаться к сайту....за такое конечно же должны банить все нормальные сайты.

 

[botovod]

попробуйте гугл бота юзерагентом прописать, может прокатит

 

[rostonix]

попробуйте гугл бота юзерагентом прописать, может прокатит

интересная мысль)))

 

[Gfoblin]

попробуйте гугл бота юзерагентом прописать, может прокатит

ну вот спалили )
но если люди не дураки то тоже будет бан )

 

[samsonnn]

минут 10 назад перестали работать пост и гет запросы, вот мне интересно это у меня одного? или так же у всех?

 

[ssXXXss]

минут 10 назад перестали работать пост и гет запросы, вот мне интересно это у меня одного? или так же у всех?

у тебя видимо

 

[Se0mashines]

Странно. Сбилась галка "текущий прокси проекта" в настройках Get запросов. Получается работало через одну ip-шку.

Вообще как то странно работает эта настройка. Если парсить GET запросами, но при этом включить "использовать браузер" в настройках проекта, то в Зеннопостере при выставленных правилах прокси - в инстансе, будет показываться что проект работает через прокси, все типо окей. Но это не так. Проверил в своих логах сервера.

В экшене "GET запросы" нужно обязательно указывать правило прокси.

 

[rostonix]

Да, конечно. Он же не через браузер работает

 

[Darkoman]

попробуйте гугл бота юзерагентом прописать, может прокатит

Как это можно осуществить?

 

[budora]

Как это можно осуществить?

Вот так Жмяк-туц