Как обойти такой бан - ваши варианты

[nomarketing]

На сайте как я понял, стоит бан, для тех кто делает частые запросы, или время переходов.
Единственно что приходит в голову это прокси... но дело в том что мне нужна точность, т.е что бы к примеру дапазон страниц был пропашен а не рандомно (где прокатило а где нет) я понимаю что как раз этим и занимается зенно постер - да зенно постер он делает это т.е сможет сделать а вы что думали ? но вот просто я хочу как то сделать по проще - ведь надо где то брать прокси и все - такое.
Может есть какие нибудь другие варианты ? - я думал написать админам письмо мол плохо видно медленно грузится что не могу оценить красоту ихнего сайта так как у меня руки быстрые мыш бывает по два раза за секунду клацаю, что бы просто на часик убрали бан моего айпи, но думаю они давольно таки строгие как и другие админы других сайтов не позволили бы сделать это. Вообщем собираю прокси, зенно чекер вроде есть - попробуем. Ну а вашим вариантам всегда рад

 

[sof]

Время лучшее средство от бана. Делай задержки большие и возможно бан сведешь к минимуму

 

[Nick]

т.е что бы к примеру дапазон страниц был пропашен а не рандомно (где прокатило а где нет

напиши проект так, чтобы этот аспект был под контролем

 

[nomarketing]

напиши проект так, чтобы этот аспект был под контролем

Время лучшее средство от бана. Делай задержки большие и возможно бан сведешь к минимуму

Да странно, я делаю 2 потока задержка 120 сек, все равно, банит.
Завтра попробую написать проэкт, по "умному" мол если спарсили удаляем линк, нет, идем в баню. ну как то так - просто там около 10к ссылок ! а если посчитать задержки то "пол года" парсить надо

 

[zortexx]

В данном случае лучшее решение - это многопоточный парсинг через прокси. Проблема дублей легко решается общими для всех потоков списками полученных и обработанных урлов.