Есть сайт, с которого надо парсить гет запросами данные по огромному кол-ву ссылок.
Написал шаблон, все работало идеально, после пробивона ссылок (порядка 50-100 гет запросов подряд) сайт начал выдавать следующее
Попробовал зайти с телефона через моб интернет - открывается. Я так понял, сайт занес мой айпишник в блеклист из-за флуда гет запросами , может быть такое ? И что делать с этим ?
Как парсить большим кол-вом гет запросов, к одному сайту? Надо ли проставлять рефереры и делать паузы между запросами ?
Написал шаблон, все работало идеально, после пробивона ссылок (порядка 50-100 гет запросов подряд) сайт начал выдавать следующее
Работал без прокси, чтобы не было лишних тормозов.Forbidden
You don't have permission to access / on this server.
Apache/2.2.15 (CentOS) Server at allhyipmon.ru Port 80
Попробовал зайти с телефона через моб интернет - открывается. Я так понял, сайт занес мой айпишник в блеклист из-за флуда гет запросами , может быть такое ? И что делать с этим ?
Как парсить большим кол-вом гет запросов, к одному сайту? Надо ли проставлять рефереры и делать паузы между запросами ?