Добрый день, встал насущный вопрос по живучести прокси. Есть хороший источник,
где-то в районе 10 тыс. проксей. Дергал его в прокси-чекер на проверку раз в 25 минут. Проверка на живучесть идет, если верить чекеру в районе 500 проксей в минуту (плюс-минус), т.е. по идее вся база просматривается за ~20 мин.
Сейчас решил изменить время загрузки до 5 минут. В связи с этим вопрос по поведению чекера:
Если я через пять минут подгружу из источника свежие данные, то что станет с еще не проверенными?
1. Чекер начнет проверку с первой строчки, а остальные данные будут лежать мертвым грузом, и я буду по кругу проверять первые 500 строк.
2. Чекер продолжит проверку первой базы?
Вообще если можно опишите поведение чекера по шагам?
где-то в районе 10 тыс. проксей. Дергал его в прокси-чекер на проверку раз в 25 минут. Проверка на живучесть идет, если верить чекеру в районе 500 проксей в минуту (плюс-минус), т.е. по идее вся база просматривается за ~20 мин.
Сейчас решил изменить время загрузки до 5 минут. В связи с этим вопрос по поведению чекера:
Если я через пять минут подгружу из источника свежие данные, то что станет с еще не проверенными?
1. Чекер начнет проверку с первой строчки, а остальные данные будут лежать мертвым грузом, и я буду по кругу проверять первые 500 строк.
2. Чекер продолжит проверку первой базы?
Вообще если можно опишите поведение чекера по шагам?