Прокси чекер 511 тысяч проксей

[Aleksandr]

Привет, друзья. Прокси чекер 511 тысяч проксей у кого за сколько времени чекает на живость? Второй час уже третий пошел всего на чекало 58 тысяч это нормально живых из них всего 36 штучек.

 

[Lexicon]

ну... вообще маловато) Если честно я чекеру от зенно не особо доверяю)))))

 

[rostonix]

Используйте нормальные ресурсы в качестве источников прокси. Количество 511000 уже говорит о том что у вас треш в списках вероятнее всего.

 

[Aleksandr]

Используйте нормальные ресурсы в качестве источников прокси. Количество 511000 уже говорит о том что у вас треш в списках вероятнее всего.

511 тысяч проксей нашел прокси чекер т.е он нашел 1700 источников. - То что прокси чекер нашел энное количество проксей в этом проблем нету - источники он ищет нормально т.е количество их нормальное
А вот прокси чекать на живучесть "прокси-чекер" особо не хочет т.е он делает это очень медленно...

Используйте нормальные ресурсы в качестве источников прокси.

может вы намекнули или хотели сказать что нужно использовать свое регулярное выражение для поиска источников - тогда источники будет находить нормальные.
Такое большое количество источников удалось собрать только увеличив время повторной загрузки прокси с источника к примеру на 10 часов. Самое большое с таким количеством источников удалось собрать около 50 проксей за часов 6-7 наверно работы чекера. За 5-7 часов работы чекера из 511 тысяч удалось прочекать всего около 30 тысяч проксей.
При стандартных настройках прокси чекера, где повторная загрузка проксей с источника равна 1 часу. Прокси чекер находит всего около 170 источников, а проксей в самом хорошем случае около 300 живых, но использовать из них можно только около 20 проксей. Не знаю даже ..... может попробую еще время загрузки оптимальное найти... ну что бы хотя-бы около 100 рабочих проксей было которые можно использовать в проектах.
Думаю что

 

[rostonix]

Выхлоп всегда будет зависеть от потраченных усилий.
Я собираю прокси не автопоиском, а своими средствами, вручную составляя списки источников, которые каждый день обновляются. Максимум который я когда либо получал на паблике это около 3000 живых прокси онлайн. Список сам у меня максимум 50000 прокси. Отобранных отличных ресурсов. Вероятнее всего какая-то часть от этих 3000 есть и в ваших листах, но учитывая таймауты жизни прокси, время на проверку всего списка, вы никогда не получите даже 1000 прокси живых при таком объеме списка, в котором мертвяка больше, чем 99%

 

[nuaru]

Максимум скорости проверки проксей, который мы получали на проксичекере - примерно миллион проксей за семь минут.
Это был обычный хецнеровский сервер с четырехъядерным процом, который был загружен процентов на 30% Память там особо, вообще, не нужна.
Все упиралось в количество разрешенных соединений, там это было 15000 и во столько потоков работал проксичекер. Мог бы и в 3 раза больше до того как уперся бы в процессор, если бы сетевое оборудование позволяло.
Так что 511к - это не прям что-то нереальное, вопрос только в вашем канале. И, заметьте, не в его ширине - это не проблема. А в количестве одновременно разрешенных соединений.

Ну или может бага какая-то у вас проявилась, но, скорее всего, дело в канале.

 

[KirillOFF]

Все упиралось в количество разрешенных соединений, там это было 15000 и во столько потоков работал проксичекер.

Подскажите, как определить эту величину? Или это результат теста производительности сетевым монитором?

 

[nuaru]

Да, тест показывает как раз этот параметр.