Сайт не пускает

  • Автор темы Автор темы runlike
  • Дата начала Дата начала

runlike

Client
Регистрация
22.09.2015
Сообщения
175
Реакции
51
Баллы
28
Есть сайт, с которого надо парсить гет запросами данные по огромному кол-ву ссылок.
Написал шаблон, все работало идеально, после пробивона ссылок (порядка 50-100 гет запросов подряд) сайт начал выдавать следующее
Forbidden
You don't have permission to access / on this server.

Apache/2.2.15 (CentOS) Server at allhyipmon.ru Port 80

Работал без прокси, чтобы не было лишних тормозов.
Попробовал зайти с телефона через моб интернет - открывается. Я так понял, сайт занес мой айпишник в блеклист из-за флуда гет запросами , может быть такое ? И что делать с этим ?
Как парсить большим кол-вом гет запросов, к одному сайту? Надо ли проставлять рефереры и делать паузы между запросами ?
 
да может )
юзай проски...
 
Это из-за частых запросов с одного айпи похожими запросами.
Тут 2 варианта - использовать прокси или уменьшить количество запросов. Ну и + нужно добавить обработку данного ответа, чтобы не терять данные.
 

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)