Кол-во потоков к проксям

[Dp76]

Некоторые провайдеры proxy (awmproxy, proxylist4you) ограничивают кол-во потоков, которые могут быть использованы одновременно.

В текущей реализации я не нашел возможности программно ограничить ОБЩЕЕ кол-во потоков, у меня лично сработало только ограничение в настройках самого браузера, редактированием строк в файле

C:\Program Files\ZennoLab\RU\ZennoPoster Pro\5.27.1.0\Progs\XulRunner52x64\greprefs.js

pref("network.http.max-connections", 4);
pref("network.http.max-connections-per-server", 4);
pref("network.http.max-persistent-connections-per-proxy", 4);
pref("network.http.max-persistent-connections-per-server", 4);

Но это так сказать, полумеры - потому что вот сейчас в 100 потоков работает постер, и разумно предположить что загрузка проксей будет в пределах 400, но нет - паузы, парсинг, сетевые задержки, и получается что загрузка на стороне проксей показывает около 180 потоков.

Внимание, вопрос: возможно ли ограничить на выходе с постера кол-во одновременных потоков к проксям?

 

[Mikhail B.]

Вобще такие прокси покупать не надо, не для зенки они.

 

[Dp76]

Я уже несколько раз спрашивал "какие посоветуете", если у меня задача - парсинг страниц сайта, который сидит за Cloudflare

 

[Mikhail B.]

Я уже несколько раз спрашивал "какие посоветуете", если у меня задача - парсинг страниц сайта, который сидит за Cloudflare

Может быть пакетные подошли бы, они стоят не дорого.

 

[Dp76]

Может быть пакетные подошли бы, они стоят не дорого.

А что значит пакетные? Можно разжевать новичку? Заранее спасибо

 

[Mikhail B.]

А что значит пакетные? Можно разжевать новичку? Заранее спасибо

ну это когда вы покупаете не 1 проксю за 50р, условно говоря. А 1000 шт, за 2000р, условно говоря. гуглите пакетные прокси)

 

[Bas]

ну это когда вы покупаете не 1 проксю за 50р, условно говоря. А 1000 шт, за 2000р, условно говоря. гуглите пакетные прокси)

awmproxy

и есть пакетный оператор, они не продают поштучно ip.

По сабжу - Cloudflare давно на запросах обходится. У меня правда нашелся индивид (сайт) который ни в какую не обходится, что-то видимо докрутили/нахимичили, но на 99% сайтов обходится без проблем. Здесь на форуме тема есть, поищите. И будет Вам 300 потоков ЗП = ~150-200 потоков на стороне прокси провайдера, в зависимости от скорости обработки данных.

 

[Dp76]

По сабжу - Cloudflare давно на запросах обходится.

А можно пару слов подробнее? Как это? Спасибо )

 

[Mikhail B.]

и есть пакетный оператор, они не продают поштучно ip.

я про них и не говорил ничего)) суть в том, что ограничения по потокам для зенки зло, а деньги просят запредельные за большое кол-во потоков.

 

[Dp76]

я про них и не говорил ничего)) суть в том, что ограничения по потокам для зенки зло, а деньги просят запредельные за большое кол-во потоков.

Именно зло, но если бы было бы меньшее зло - я бы пользовался им, а так - альтернатив не вижу, пока если честно

 

[Bas]

А можно пару слов подробнее? Как это? Спасибо )

https://zennolab.com/discussion/threads/cloud-flare-obxod-zaschity-na-legke.46841/

 

[Dp76]

Обход защиты CloudFlare это вообщем-то важная тема для меня.

Если подключен браузер, то первый этап он решает сам (или я что-то не понимаю), вот в тех постах что предоставил Bas (за что ему огромное спасибо) как раз пытаются получить куки для решения вот этой проблемы (если я правильно понял)

https://imgur.com/a/GMTBmcm (не смог вставить картинку в пост)

А собственно, если есть браузер, то таких проблем не возникает в принципе. В 30-70% случаев после этого отдается обычная страница сайта, с которой уже и работаю дальше. Почему такой разброс в процентах, а Бог его знает, что там себе CF думает. На этих выходных вообще 99% был отлуп на второй шаг.


Второй шаг, который любезно предоставляет нам CF это капча,

https://imgur.com/a/RgCZhen, она бывает разная, видимо версия 2 или 3, подвязывать CapMonster наверное можно, но, признаться, у меня он разгадывает капчи плохо, а если говорить про 100 потоков,
то вообще сервер дохнет, доступа к нему нет (а сервер мощный, 32 ядра, 128 оперативки, SSD), это у меня так или у всех так?

Поэтому приходится прокси, которая получила капчу списывать утиль.

Есть третий вариант развития событий это Error 1009:
https://imgur.com/A1WANXO, и прокси тоже списываю в утиль.

Вот такая вот картина на данный момент, если кто понимает что мне делать и поможет дельным советом - то... спасибо мало, буду благодарен финансово

 

[Bas]

Обход защиты CloudFlare это вообщем-то важная тема для меня.

Если подключен браузер, то первый этап он решает сам (или я что-то не понимаю), вот в тех постах что предоставил Bas (за что ему огромное спасибо) как раз пытаются получить куки для решения вот этой проблемы (если я правильно понял)

https://imgur.com/a/GMTBmcm (не смог вставить картинку в пост)

А собственно, если есть браузер, то таких проблем не возникает в принципе. В 30-70% случаев после этого отдается обычная страница сайта, с которой уже и работаю дальше. Почему такой разброс в процентах, а Бог его знает, что там себе CF думает. На этих выходных вообще 99% был отлуп на второй шаг.


Второй шаг, который любезно предоставляет нам CF это капча,

https://imgur.com/a/RgCZhen, она бывает разная, видимо версия 2 или 3, подвязывать CapMonster наверное можно, но, признаться, у меня он разгадывает капчи плохо, а если говорить про 100 потоков,
то вообще сервер дохнет, доступа к нему нет (а сервер мощный, 32 ядра, 128 оперативки, SSD), это у меня так или у всех так?

Поэтому приходится прокси, которая получила капчу списывать утиль.

Есть третий вариант развития событий это Error 1009:
https://imgur.com/A1WANXO, и прокси тоже списываю в утиль.

Вот такая вот картина на данный момент, если кто понимает что мне делать и поможет дельным советом - то... спасибо мало, буду благодарен финансово

Там не пытаются, там готовый шаблон приложен. На запросах получаете куки, подставляете ответ на рекаптчу, если требуется и в путь.

 

[Dp76]

Рекапча на 100 потоках убивает мой тазик

 

[Bas]

Рекапча на 100 потоках убивает мой тазик

А тебе и не надо 100 потоков. Ты же парсишь сейчас, говоришь не всегда рекаптча лезет. Ну так а зачем ее гадать всегда? Гадай по мере появления, а лучше гадай отдельным шабом в столько потоков, сколько не напрягают излишне систему, а в своем шабе парсинга бери готовый ответ из того шаба по мере необходимости. В общем я бы логику твоего шаблона совсем иначе строил.

 

[Dp76]

А тебе и не надо 100 потоков. Ты же парсишь сейчас, говоришь не всегда рекаптча лезет. Ну так а зачем ее гадать всегда? Гадай по мере появления, а лучше гадай отдельным шабом в столько потоков, сколько не напрягают излишне систему, а в своем шабе парсинга бери готовый ответ из того шаба по мере необходимости. В общем я бы логику твоего шаблона совсем иначе строил.

А связаться с Вами как-то можно? Я не вижу такого функционала для меня, это ограничения форума?

 

[Dima_External]

и есть пакетный оператор, они не продают поштучно ip.

По сабжу - Cloudflare давно на запросах обходится. У меня правда нашелся индивид (сайт) который ни в какую не обходится, что-то видимо докрутили/нахимичили, но на 99% сайтов обходится без проблем. Здесь на форуме тема есть, поищите. И будет Вам 300 потоков ЗП = ~150-200 потоков на стороне прокси провайдера, в зависимости от скорости обработки данных.

Привет, можешь отписать пожалуйста в личку? Вопрос по клаудфлейру