(другой софт) vs zenno и другие вопросы

[daymos]

При одинаковом колличестве источников (другой софт) (таймаут5/потоков300) начекует анонимных проксей быстрее и больше чем зенно (загрузка25/проверка300). Почему?

Как почистить список источников в зенно? Старые, необновляемые ресурсы, ресурсы с копипастой и прочее г. При большом списке источников очень долго запускается и выключается программа.

Почему прекращается чекинг проксей? Прокси Всего:73к, число проверок за сеанс 1к. Лимит проксей не достигнут, а чекинг делает паузу, а потом снова чекает.

Что такое рейтинг источников? Как он высчитывается? Он относительный или абсолютный? (Закинул пачку источников, через пару дней удалил желтые и красные, а они появляются снова и снова)

 

[Go@]

При одинаковом колличестве источников (другой софт) (таймаут5/потоков300) начекует анонимных проксей быстрее и больше чем зенно (загрузка25/проверка300). Почему?

Попробуйте поставить те же параметры в Zenno-проксичекере - выделить все ресурсы, и установить таймаут чека проксей = 5с. Также, на время проверки можно приостановить загрузку проксей с источников - парсинг в 25 потоков может значительно нагружать канал.

Как почистить список источников в зенно? Старые, необновляемые ресурсы, ресурсы с копипастой и прочее г. При большом списке источников очень долго запускается и выключается программа.

Что такое рейтинг источников? Как он высчитывается? Он относительный или абсолютный? (Закинул пачку источников, через пару дней удалил желтые и красные, а они появляются снова и снова)

Когда все источники загрузятся - отсортируйте список источников по результату последней загрузки. Зеленые - те, что с проксями. Желтые - без проксей, красные - вообще не доступны. Рейтинг источников считается очень просто, по-умолчанию = 3, если нашли на нем прокси (зеленый) - растет (максимум 5), если недоступен (красный) - падает (минимум 1), если нет проксей (желтый) - не изменяется.

Чтобы удалить лишнее, надо отсортировать по рейтингу, и удалить все недоступные - с рейтингом меньше 3 (т.е., 1 или 2). С желтыми можно поработать - зайти вручную на источник и проверить есть ли там прокси. Если есть, то можно добавить регулярных выражений, для того, чтобы такие источники парсились. (Если только там не JS, что пока недоступно.)

Почему прекращается чекинг проксей? Прокси Всего:73к, число проверо
к за сеанс 1к. Лимит проксей не достигнут, а чекинг делает паузу, а потом снова чекает.

Как долго длится пауза? Какая у вас версия программы и версия Windows?
Также, если лимит есть, попробуйте убрать его (поставить 0).

 

[abuser]

daymos, дам мега-суппер-пупер совет для ПАБЛИК проксей:
берешь список листов проксей, чекаешь хрефером. в папке с хрефом лежит файл хтмл в виде таблицы... там написано - сколько проксей с каждого реса взято, сколько из них(для каждого реса) валидных и прпрпр... т.о. отсортировываешь нужные тебе рабочие источники с живыми проксями. затем этот список источников используешь в зеннопостере(взяв тоьлко хорошие источники с норм кол-вом живых проксей) .. т.о. ты сократишь кол-во не нужных источников до минимума...
про такой алгоритм говорил создателям ЗП .. пока не реализовали .. но - это, скажем так - разовой необходимости задание .....

 

[daymos]

спасибо за советы