Посоветуйте, как сформировать шаблон парсинга при использовании ProxyChecker

thinkpadla

Client
Регистрация
19.09.2019
Сообщения
3
Благодарностей
0
Баллы
1
Всех приветствую!

Подскажите, как лучше сформировать шаблон для парсинга остатков, используя ProxyChecke?
- Всего 100 товаров
- Остатки нужно парсить чем чаще, тем лучше, но хотя бы пару раз в час.

Сначала у меня в списке шаблона были все 100 ссылок (url товаров) и в авторежиме ProxyChecker в течение суток не было выполнено ни одной задачи.
Постепенно сокращал количество строк (url товаров) для обхода в одном проекте до 10 штук и за сутки проект выполнился уже два раза. Но это в любом случае мало.

Неужели в проекте должен быть только один товар?

Есть где подробнее почитать об этом? В справке довольно мало информации на этот счёт.
 

Moonwalker

Client
Регистрация
16.03.2016
Сообщения
1 561
Благодарностей
1 163
Баллы
113
Мне кажется, нужно разделить задачу на две части:
1. Поиск подходящих прокси
2. Непосредственно парсинг

Вообще, имхо, проще прикупить какой-нибудь пакет недорогих прокси и не заморачиваться с поиском рабочих через ПроксиЧекер. А уже через них парсить.

ps. Сам ежедневно обрабатываю десятки тысяч страниц, поэтому из личного опыта могу сказать: хорошие прокси - это наше все )) В чекере хорошие тоже, наверное, можно отловить, но вероятность мала и времени уйдет много )))
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)