- Регистрация
- 05.02.2012
- Сообщения
- 209
- Благодарностей
- 52
- Баллы
- 28
Собираю информацию на авторитетном англ. сайте. За 2 работы недели посетил 40млн урл. .
Работает в 120 потоков, посещает в минуту 6к урл.
Прокси 350 штук (уже в бане у этого сайта)
Шаблон выполняется по кругу в цикле по 300 раз.
Get запросы без использования браузера.
Думаю взять 1к прокси, но боюсь что их тоже забанят, да и в первый день. Дайте пожалуйста годный совет.
Что это может быть? Ручной бан на сайте, или автоматический фаерволом на серваке?
Юзерагент без браузера работает? или нужно его задавать в шаге проекта?
Может отключить цикл, и по одному разу проект прогонять?
Вобщем буду рад любым советам по поводу блокировки.
Работает в 120 потоков, посещает в минуту 6к урл.
Прокси 350 штук (уже в бане у этого сайта)
Шаблон выполняется по кругу в цикле по 300 раз.
Get запросы без использования браузера.
Думаю взять 1к прокси, но боюсь что их тоже забанят, да и в первый день. Дайте пожалуйста годный совет.
Что это может быть? Ручной бан на сайте, или автоматический фаерволом на серваке?
Юзерагент без браузера работает? или нужно его задавать в шаге проекта?
Может отключить цикл, и по одному разу проект прогонять?
Вобщем буду рад любым советам по поводу блокировки.