Количество прокси для многопотока?

[SeoPanda]

Привет всем! Вообщем дело такое при многопотоковом режиме (25 потоков) на один проект использую порядка 70 проксей и через мин10-15 начинают идти ошибки как будто прокси банятся поисковиком на время. Этого количества мало для 25 потоков?

 

[[Pacman]]

Этого количества мало для 25 потоков?

Тут никто вам не ответит без конкретики. Вопрос слишком размыт.
Мало или много 70 прокси для 25 потоков, дело лично написанного вами шаблона. Как напишите так и будет.

1. Каким образом берутся прокси?
2. Прокси купленные, или паблик? То есть прокси умереть без проблем могут, или живут(купленные)

Про прокси банятся или не банятся вряд-ли кто то ответит, так как лишь можно догадываться что вы делаете. Может и банятся, но скорее всего ошибки кода, не факт что связанно именно с прокси, но это домыслы. Может и дохнут прокси.
Если прокси берете из фала, не забыли поставить галочку, удалить строку после взятия, и синхронизация с файлом? Дабы другой поток не цапнул тот же прокси.

В общем либо пишите конкретику, и побольше, либо сделайте проверку в шаблоне, по завершению, запись в файл, проверка на бан прокси. А лучше и то и другое.

как будто

так вычислите точно проблему.

 

[SeoPanda]

Прокси берутся из списка они купленные. Шаблон ведет парсинг. Спасибо буду разбираться пробовать.

 

[SeoPanda]

Дело в том что например в 5 потоков все отлично работает на этих проксях, как только повышаешь потоки скажем до 20 то через какое то время начинаются сыпаться ошибки.

 

[[Pacman]]

Дело в том что например в 5 потоков все отлично работает на этих проксях, как только повышаешь потоки скажем до 20 то через какое то время начинаются сыпаться ошибки.

В общем дело не в ZP это точно. 25 потоков и 75 прокси это не показатель для ZP. Ковыряйте код.
Из списка? То есть в ZP вы просто добавили список прокси в список который одинаков для всех потоков? Это значит что у вас одни и те же прокси могут схватить разные потоки.

Много потоков хватает 1 прокси, и отрабатывает на них может бан или капча прилететь. Помимо того что мне кажется что где то еще есть ошибка, но это не точно.

Для многопотока взятие прокси: 1 прокси 1 потоком можно реализовать так:
Класть прокси в файл, и синхронизировать список с прокси файлом.

То есть один поток возьмет прокси, файл запишется уже без того взятого прокси, другой поток тоже возьмет прокси и уже в файле не будет 2х прокси, то есть каждый поток будет брать свой прокси, без путаницы.
По завершению нужных действий, можно создать кубик что бы положить обратно в список отработанный прокси.

Дело в том что например в 5 потоков все отлично работает на этих проксях, как только повышаешь потоки скажем до 20 то через какое то время начинаются сыпаться ошибки.

Так как вероятно 5 потоков получают 75 прокси. и 25 получают 75 тоже.
И то ли 5 потоков на 1 прокси работают, толи 25 на 1.

 

[SeoPanda]

Понял буду проверять)

 

[one]

Скорее всего ведете агресывный вид парсинга вот и вгоняете свои прокси в бан.

 

[SeoPanda]

вгоняет свои прокси в бан кто ZP? или ПС?

 

[[Pacman]]

вгоняет свои прокси в бан кто ZP? или ПС?

вы)