Давно уже мучает такая проблема. Собираю чекером встроенным прокси из соксы из паблика.
Источники дают примерно 40т. всего проксей, из них отбираются соксы, начиналось с 200 штук, сейчас набралось где-то 2000 и их число продолжает расти.
Прокси проходят проверку на пост и на произвольный урл (главная страница яндекса).
Однако по факту процентов 90 это просто мусор, при попытке через браузер или ПМ перейти на сайт яндекса перехода через них не происходит.
Отсюда вопросы:
1. как такой мусор попадает в списки хороших прокси, прошедших проверку?
2. почему они остаются там навсегда, не выпадают при повторных проверках, количество мусора постоянно растет?
3. можно ли сразу отсеять, чтобы в список прокси попадали только прокси по правилу пост/яндекс, а все остальные сразу удалялись из списка?
Источники дают примерно 40т. всего проксей, из них отбираются соксы, начиналось с 200 штук, сейчас набралось где-то 2000 и их число продолжает расти.
Прокси проходят проверку на пост и на произвольный урл (главная страница яндекса).
Однако по факту процентов 90 это просто мусор, при попытке через браузер или ПМ перейти на сайт яндекса перехода через них не происходит.
Отсюда вопросы:
1. как такой мусор попадает в списки хороших прокси, прошедших проверку?
2. почему они остаются там навсегда, не выпадают при повторных проверках, количество мусора постоянно растет?
3. можно ли сразу отсеять, чтобы в список прокси попадали только прокси по правилу пост/яндекс, а все остальные сразу удалялись из списка?