Собираю местные ящики почт. Не собираются!

[smartwisard]

С лёгкостью спарсен список из 6557 ссылок вида
/firms/14313/
/firms/14937/
/firms/15197/
/firms/15195/
/firms/9144/
Вторая часть парсера, я её приложил, открывает ссылки http://e58.ru{-Variable.company-} и собирает почты.
Но почему, почему собирается только 3-4 десятка ящиков и почему слишком быстро список из 6557 ссылок оказывается пустым?

 

[Sergodjan]

С лёгкостью спарсен список из 6557 ссылок вида
/firms/14313/
/firms/14937/
/firms/15197/
/firms/15195/
/firms/9144/
Вторая часть парсера, я её приложил, открывает ссылки http://e58.ru{-Variable.company-} и собирает почты.
Но почему, почему собирается только 3-4 десятка ящиков и почему слишком быстро список из 6557 ссылок оказывается пустым?

сайт иногда подтормаживает, с задержкой открывается в браузере и гет-запрос приходит пустым..
может у меня в этот момент с инетом проблемы были, хотя вряд ли..
после гет запроса нужно проверять, не пустота ли в переменной, если пустота, то еще раз делать запрос,
заодно таймаут можно увеличить..

если все же не получилось спарсить емейл с текущего линка или добиться ответа от сайта на запрос,
добавлять линк обратно в исх. список, либо в другой список, который позже попробовать еще раз прогнать..

 

[Koqpe]

Нельзя с такой скоростью обращаться к сайту .
Вас заподозрят в DOS атаке.

 

[Dexio]

Попробуйте делать запросы с проксями. И скорость сохраните и результаты будут лучше.. Если сайт не положите конечно)

 

[Makswell]

Делегируй на несколько десятков проксей, если нужно спарсить много и быстро с одного ресурса, иначе может провайдер перезвонить, спросить как поживаешь xD

 

[Dexio]

Делегируй на несколько десятков проксей, если нужно спарсить много и быстро с одного ресурса, иначе может провайдер перезвонить, спросить как поживаешь xD

Нравятся мне эти байки, всегда думал, что в Москве такого нет)). А мне на неделе Билайн "негодяй!!111" устроил игры со скоростью.. Берет и режет именно возможность обращаться к серверам больше чем в 5 потоков на ВСЮ КВАРТИРУ КАРЛ!!! НА ВСЕ 100 мбит секунду. Только через 3 колена тех саппорта и негодования решил вопрос