Результаты поиска

можно сначала сохранить список в файл, а потом уже много многопоточно работать с ним

так может нужно адрес написать нормально http://ya.ru

надо делать цикл, чтобы каждый шаблон парсил штук 100 страниц, а не завершался после парсинга 1 страницы

для такого юзаю admuncher

а, блин, все равно размер ответа меньше получился почему-то :-), но думаю и так понятно что смысл все равно не в этом

может вынести эти 400мс и 200мс как настройку? по процу запаса много - запускаю 150 потоков, получаю 50-60% нагрузку на проц, а скорость парсинга совсем не годится - канал хавает всего на 5мбит

прога HttpAnalyzer да, там на первом скрине питона запрашивалась одна страница, а в зенно разные, поэтому разница в размерах ответов вот на питоне m.mail.ru видно, что между запросами паузы практически нет, а в зенно пауза в 2 раза дольше, чем время на сам запрос в итоге разница в скорости...

Для более точного примера, парсинг m.mail.ru, без лишних действий, шаблон выглядит вот так тайминг запросов вот такой почему такие паузы между запросами? или только у меня так, кому не влом проверьте у себя, шаблон прикладываю

Вот так выглядит тайминг при парсинге в 1 поток зеннопостером а вот скриптом на питоне, сайт один и тот же, обработка результата такая же - несколько раз результат проверяется регулярками на наличие различных ошибок при работе с прокси и 2 регулярками получаем результат почему такие паузы...

я бы сделал так - сохраняйте в файл список значений переменной, которая изменяется при парсинге, и из него уже можно многопоточно брать, и проблем не будет не совсем правильно, если в переменной простой счетчик, но хотя бы работает

если в тех источниках прокси повторяются с первым, то напишет 0

Может в переменной есть кавычки? надо использовать "Подготовка Javascript" в обработке текста перед сравнением

можно брать текущее и считать разницу

рандом до 10, и цифра 1 будет вести по ссылке 1; цифры 2,3,4 ведут по ссылке 2, и т.д.

admuncher.com