Скорость работы с проксями падает через 5 мин

[j2082192]

Доброго, сабж
Прокси пробовал разные (best-proxies и luminati) результат тот же.
Шаблон на get запросах. Зациклен на 20 выполнений потом перезагрузка.
В 10 например потоков стартует бодренько, потом спустя минут 3-4 такое ощущение что то забивается и начинаются тормоза. Если включить 20-50 потоков то тогда вообще не работает (скорее всего не успевает дождаться взятия get запроса).
Железо мощное
Подскажите в какую сторону копать

 

[doc]

в безбраузерных проектах не нужна перезагрузка. И вообще в настройках проекта браузер отключен?

 

[j2082192]

в безбраузерных проектах не нужна перезагрузка. И вообще в настройках проекта браузер отключен?

Да конечно отключён, видел что типо циклить шаблон нельзя что он память забивал и тд.. но если честно не замечал такого

 

[doc]

Да конечно отключён, видел что типо циклить шаблон нельзя что он память забивал и тд.. но если честно не замечал такого

забивают браузерные проекты. Какая продолжительность одного выполнения ?

 

[j2082192]

секунд 5 может,основное время ожидания это от гет запроса
взял прокси взял ссылку получил гет записал результат все
работает всё со списками естественно

 

[doc]

и сколько ссылок за инстанс перебирает?

 

[j2082192]

получает 1 прокси ставит его в проекте получает 1 ссылку берет get по этой ссылке записывает результат всё

 

[doc]

тогда как ты зациклил? Есть вероятность, что твой цикл уходит в бесконечность? Если например плохой прокси или ещё что?

 

[j2082192]

В бесконечность точно не уходит, проверял.
Убрал цикл результат такой же, хуже не стало
Может быть прокси.

 

[doc]

что-то не объяснимое. Что на счёт списка/таблицы куда пишется? Мб файл очень большой?

 

[j2082192]

Прикрепил, проверь у себя пожалуйста. Больше 10 потоков начинает вообще тормозить и успешных выполнений почти нет.

 

[doc]

Ничего нагружающего я там не нашёл. Но прокси подключались не правильно, и работа шла без них. Может поэтому спустя несколько минут сайт блочил айпи и работа замедлялась

 

[j2082192]

Да там ж поочередно они берутся. Такое ощущение что это сама зенка тупит и не даёт разгон нормальный, игрался с количеством потоков в одном процессе - тоже не дало результатов. С проксями другого сервиса такая же история

 

[doc]

Да там ж поочередно они берутся. Такое ощущение что это сама зенка тупит и не даёт разгон нормальный, игрался с количеством потоков в одном процессе - тоже не дало результатов. С проксями другого сервиса такая же история

они то берутся, только вставлЯлись через блок, который устанавливает прокси для браузера. Нет браузера - нет смысла с блока этого. В безбраузерных прокси надо устанавливать в самих кубиках запросов

 

[j2082192]

ну вопрос остался тупить оно продолжает, стоит 15 потоков а выполняет как будто 5-6 только работает

 

[j2082192]

Ап как увеличить скорость работы?

 

[boss-uvarkin]

подниму вопрос. тоже самое. запускаю шаб на post\get в 100 потоков, через 10 минут начинает работать в 30-40 (судя по скорость передачи каптчи). Шаб не зациклен, прокси раз в 5 минут перезагружаются (идет обрыв на секунд 20). Сам шаблон выполняется около минуты. Так что к-во потоков должно падать максимум на 1 минуту, а падает навсегда. Куда копать?


P.S: у меня качественные, быстрые ipv6, которые я сам поднял

 

[backoff]

Куда копать?

включи и посмотри трассировку, будет видно на каком моменте тратится время, дальше думать

 

[boss-uvarkin]

включи и посмотри трассировку, будет видно на каком моменте тратится время, дальше думать

Спойлер: traces

0-10-2020 12:36:10.8718|Info|---Project Executed---|
10-10-2020 12:36:11.2784|Info|---Project Start Execute---|
10-10-2020 12:36:11.3565|In |937501f5-a779-4d9c-8e17-a0adfa4b41b8|
10-10-2020 12:36:11.3717|Good|937501f5-a779-4d9c-8e17-a0adfa4b41b8|0
10-10-2020 12:36:11.4036|In |ba31b7a0-08ba-42b9-a807-2707175d5395|
10-10-2020 12:36:11.4347|Good|ba31b7a0-08ba-42b9-a807-2707175d5395|1
10-10-2020 12:36:11.4502|In |0f394185-b9ab-4a7c-b739-55a81e6e3d99|
10-10-2020 12:36:11.4978|Good|0f394185-b9ab-4a7c-b739-55a81e6e3d99|0
10-10-2020 12:36:11.5134|In |ce901d12-0fb5-499d-9721-e115c5ec3239|
10-10-2020 12:36:11.5439|Good|ce901d12-0fb5-499d-9721-e115c5ec3239|0
10-10-2020 12:36:11.5598|In |7b748fc2-3f40-402f-b382-0c110a944e86|
10-10-2020 12:36:11.5754|Good|7b748fc2-3f40-402f-b382-0c110a944e86|0
10-10-2020 12:36:11.5907|In |fa1ba596-5133-4ba5-81f1-46b876733d80|
10-10-2020 12:36:11.6064|Good|fa1ba596-5133-4ba5-81f1-46b876733d80|0
10-10-2020 12:36:11.6223|In |3f2b77b6-0fc3-4a59-90f2-20da86a94112|
10-10-2020 12:36:12.7781|Good|3f2b77b6-0fc3-4a59-90f2-20da86a94112|1138
10-10-2020 12:36:12.8250|In |d3d7fef4-03f2-48a2-a47e-eb71ec664325|
10-10-2020 12:36:13.0129|Good|d3d7fef4-03f2-48a2-a47e-eb71ec664325|111
10-10-2020 12:36:13.0754|In |8b4ce10f-a16f-4c5e-aa37-a75d3f08065d|
10-10-2020 12:36:15.3722|Good|8b4ce10f-a16f-4c5e-aa37-a75d3f08065d|2267
10-10-2020 12:36:15.3878|In |c89e310b-effb-43d1-a4d5-c8b0c67659e0|
10-10-2020 12:37:06.3724|Good|c89e310b-effb-43d1-a4d5-c8b0c67659e0|50968
10-10-2020 12:37:06.3880|In |b4e0ba2c-6394-455d-870a-4c3f60e9c3c8|
10-10-2020 12:37:55.0598|Good|b4e0ba2c-6394-455d-870a-4c3f60e9c3c8|48644
10-10-2020 12:37:55.0758|In |a1546ebe-23db-47fa-a456-d60e7f56bdc1|
10-10-2020 12:37:56.1533|Good|a1546ebe-23db-47fa-a456-d60e7f56bdc1|1062
10-10-2020 12:37:56.1843|In |ee2a0566-640c-4fba-9912-59db6d7dd195|
10-10-2020 12:37:56.2625|Good|ee2a0566-640c-4fba-9912-59db6d7dd195|0
10-10-2020 12:37:56.2946|In |86de19c4-b534-4ba7-8bc5-496d29ed3991|
10-10-2020 12:37:56.4817|Good|86de19c4-b534-4ba7-8bc5-496d29ed3991|0
10-10-2020 12:37:56.5282|Info|---Project Executed---|
10-10-2020 12:37:56.7940|Info|---Project Start Execute---|
10-10-2020 12:37:56.9031|In |937501f5-a779-4d9c-8e17-a0adfa4b41b8|
10-10-2020 12:37:57.0288|Good|937501f5-a779-4d9c-8e17-a0adfa4b41b8|0
10-10-2020 12:37:57.1064|In |ba31b7a0-08ba-42b9-a807-2707175d5395|
10-10-2020 12:37:57.1689|Good|ba31b7a0-08ba-42b9-a807-2707175d5395|0
10-10-2020 12:37:57.3406|In |0f394185-b9ab-4a7c-b739-55a81e6e3d99|
10-10-2020 12:37:57.5907|Good|0f394185-b9ab-4a7c-b739-55a81e6e3d99|0
10-10-2020 12:37:57.9345|In |ce901d12-0fb5-499d-9721-e115c5ec3239|
10-10-2020 12:37:57.9812|Good|ce901d12-0fb5-499d-9721-e115c5ec3239|11
10-10-2020 12:37:58.0282|In |7b748fc2-3f40-402f-b382-0c110a944e86|
10-10-2020 12:37:58.0908|Good|7b748fc2-3f40-402f-b382-0c110a944e86|0
10-10-2020 12:37:58.1220|In |fa1ba596-5133-4ba5-81f1-46b876733d80|
10-10-2020 12:37:58.1533|Good|fa1ba596-5133-4ba5-81f1-46b876733d80|0
10-10-2020 12:37:58.1692|In |3f2b77b6-0fc3-4a59-90f2-20da86a94112|
10-10-2020 12:37:59.3562|Good|3f2b77b6-0fc3-4a59-90f2-20da86a94112|1160
10-10-2020 12:37:59.3721|In |d3d7fef4-03f2-48a2-a47e-eb71ec664325|
10-10-2020 12:37:59.4356|Good|d3d7fef4-03f2-48a2-a47e-eb71ec664325|38
10-10-2020 12:37:59.4513|In |8b4ce10f-a16f-4c5e-aa37-a75d3f08065d|
10-10-2020 12:38:02.3532|Good|8b4ce10f-a16f-4c5e-aa37-a75d3f08065d|2891
10-10-2020 12:38:02.4345|In |c89e310b-effb-43d1-a4d5-c8b0c67659e0|
10-10-2020 12:38:19.2940|Good|c89e310b-effb-43d1-a4d5-c8b0c67659e0|16826
10-10-2020 12:38:19.3409|In |b4e0ba2c-6394-455d-870a-4c3f60e9c3c8|
10-10-2020 12:38:49.2470|Good|b4e0ba2c-6394-455d-870a-4c3f60e9c3c8|29881
10-10-2020 12:38:49.3251|In |a1546ebe-23db-47fa-a456-d60e7f56bdc1|
10-10-2020 12:38:50.5595|Good|a1546ebe-23db-47fa-a456-d60e7f56bdc1|1203
10-10-2020 12:38:50.5908|In |ee2a0566-640c-4fba-9912-59db6d7dd195|
10-10-2020 12:38:50.7314|Bad |ee2a0566-640c-4fba-9912-59db6d7dd195|1
10-10-2020 12:38:50.7626|In |6ff1b744-a9d1-4b0e-b110-058205e6b66c|
10-10-2020 12:39:26.6220|Good|6ff1b744-a9d1-4b0e-b110-058205e6b66c|35770
10-10-2020 12:39:26.6689|Info|---Project Executed---|
10-10-2020 12:39:27.3564|Info|---Project Start Execute---|

по трассировке всё хорошо. На капчу затрачивается от 1 минуты до двух (если с первого раза не прошло). Но сейчас стоит 300 потоков на другом сервере (100% загрузка ЦП), а до разгадывания доходит лишь 40-60 потоков

 

[backoff]

значит слабое звено отправка капчи и больше потоков чем капча все равно не будет, поставь не 300 потоков а 100
посмотри что будет

тестируй

 

[boss-uvarkin]

значит слабое звено отправка капчи и больше потоков чем капча все равно не будет, поставь не 300 потоков а 100
посмотри что будет

тестируй

при 100, разгадывает вначале 100, затем 20-30. При 300, вначале 300, затем 50-150. Через минут 20-30 становится 50-100