Странности с чекером

[ukrpunk]

Вобщем такое дело,начал собирать базу паблик листов руками. Естественно каждый лист проверяется на отсутствие ЖС и прочей ерунды,каждый лист доступен + есть прокси и регулярка для парсинга.
Засунул список в проксичекер - из 30 источников "зелёными" стали только 8,проксичекер нашел с десяток проксей и закончил парсинг.
Попробовал второй раз (те же листы и настройки) - загрузилось 14 источников,за полчаса нашлось около 30 проксей.
На третий раз не загрузился ни один источник.
Пробую сейчас - загрузилось 17 источников,уже около 10минут идет парсинг (1100проксей/мин) и не найдено ни одного прокси.

Собсно вопрос : почему такая нестабильность и как от нее избавиться? может чтото я не то делаю? однако когда собирал прокси листы,каждый урл чекал отдельно,при этом с каждого списка выходило по несколько десятков прокси.. обидно

 

[Бодрый_Лось]

- Паблик прокси довольно быстро дохнут
- Желательно добавлять ссылки, на которых периодически обновляются прокси
- Смотрел дату публикации проксей на добавляемых ссылках? В сети много очень старых листов.

 

[ukrpunk]

Я же говорю,собирал руками и тщательно проверял. Все листы постоянно обновляются... Все же интересно почему из 30живых листов зено едва находит 10-15штук...

 

[Бодрый_Лось]

Скорее всего что то или с самими листами, или очень строгие глобальные фильтры выставил в зенно, других причин не вижу.

 

[ukrpunk]

Из фильтров только черный лист. Сам вопрос не в том что мало прокси находит,а почему рабочие листы не чекает

 

[Бодрый_Лось]

Листы идут в формате ip:порт? То есть нет никаких дивов, яваскриптов и т.д.?
Upd: отписал в личку

 

[abuser]

такой вопрос созрел - а как происходит вообще сбор и обработка проксей ?
1) сбор проксей
2) чек собраной базы
3) речек живых проксей
4) сбор новой базы
...

Или как-то по-другому происходит ?
Волнует именно момент речека....
т.е. есть у проксей время жизни(указывается в настройках) .. после этого проксик переводится автоматом в дохлые и кидается в общую базу ? или всё-таки создается отдельный поток для речека живых проксей ?4

 

[Go@]

такой вопрос созрел - а как происходит вообще сбор и обработка проксей ?
1) сбор проксей
2) чек собраной базы
3) речек живых проксей
4) сбор новой базы
...

Или как-то по-другому происходит ?
Волнует именно момент речека....
т.е. есть у проксей время жизни(указывается в настройках) .. после этого проксик переводится автоматом в дохлые и кидается в общую базу ? или всё-таки создается отдельный поток для речека живых проксей ?4

Прокси из живого списка может пойти двумя разными путями:
1) Он может быть использован программой.
или
2) Будет автоматически записан в мертвые, по истечению времени жизни (указывается в настройках).

В обоих случаях прокси просто удаляется из списка живых, оставаясь при этом в базе. В первом случае он пойдет на речек не ранее, чем истечет время, указанное в настройках его источника, в параметре "Ограничение повторной проверки" (по-умолчанию, 15 минут). Во втором случае, речек будет не ранее, чем через 5 минут (зависит от рейтинга).

Подробнее, можно почитать об этом здесь:
http://help.zennolab.com/ru/v3/zennoproxychecker/work_scheme.htm
http://help.zennolab.com/ru/v3/zennoproxychecker/proxy_check.htm