Парсинг прокси по ссылке.

[likeviewer]

Всем привет. Подскажите, как лучше реализовать парсинг прокси по ссылке? Изначально было сделано решение парсинга всех проксей по ссылке с помощью гет запроса в список. Но проблема заключается в том, что поток выполняется 2-3 сек. Если потоков много, то обращений к ссылке проксей тоже много. Прокси меняется раз в 10 минут, а поставщик проксей ругается, + банит на какое-то время прокси, за такую активность (что самое главное и проблемное).

Сейчас приходится запускать 2 проекта параллельно, один специально для парсинга проксей в 1 поток, после чего стоит пауза 5-7 минут. По факту этот проект 99,9% занят паузой.

Скорее всего решение простое, но найти его пока не удалось. :/

 

[Sergodjan]

Сейчас приходится запускать 2 проекта параллельно, один специально для парсинга проксей в 1 поток, после чего стоит пауза 5-7 минут. По факту этот проект 99,9% занят паузой.

Запускайте проект с парсингом через Расписание, убрав паузу в проекте.

 

[likeviewer]

Запускайте проект с парсингом через Расписание, убрав паузу в проекте.

Посмотреть вложение 53192

А какого-то решения сделать это внутри одного проекта нет? Возможно получится сделать проект в проекте таким образом?

 

[Sergodjan]

А какого-то решения сделать это внутри одного проекта нет? Возможно получится сделать проект в проекте таким образом?

Мне кажется легкого решения нет, можно конечно заморочиться с записью времени в файл и в проекте постоянно проверять, не прошло ли 7 минут после последнего парсинга прокси. Но проще намного отдельным проектом манипулировать.