Сайт не пускает

runlike

Client
Регистрация
22.09.2015
Сообщения
175
Благодарностей
51
Баллы
28
Есть сайт, с которого надо парсить гет запросами данные по огромному кол-ву ссылок.
Написал шаблон, все работало идеально, после пробивона ссылок (порядка 50-100 гет запросов подряд) сайт начал выдавать следующее
Forbidden
You don't have permission to access / on this server.

Apache/2.2.15 (CentOS) Server at allhyipmon.ru Port 80
Работал без прокси, чтобы не было лишних тормозов.
Попробовал зайти с телефона через моб интернет - открывается. Я так понял, сайт занес мой айпишник в блеклист из-за флуда гет запросами , может быть такое ? И что делать с этим ?
Как парсить большим кол-вом гет запросов, к одному сайту? Надо ли проставлять рефереры и делать паузы между запросами ?
 

Gfoblin

Client
Регистрация
30.05.2013
Сообщения
4 596
Благодарностей
1 014
Баллы
113
да может )
юзай проски...
 

ZennoScript

Moderator
Регистрация
04.03.2011
Сообщения
4 451
Благодарностей
1 885
Баллы
113
Это из-за частых запросов с одного айпи похожими запросами.
Тут 2 варианта - использовать прокси или уменьшить количество запросов. Ну и + нужно добавить обработку данного ответа, чтобы не терять данные.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)