Умирают инстансы спустя несколько часов работы

[Conformist570]

Всем привет, такая проблема.
Работаю на про версии ZP на удаленном сервере, в шаблоне много рекапчи, решаю через КМ sitekeyaddon. Во первых создается ощущение что мой ZP поддерживает всего 5 потоков или около того, остальные потоки ждут или как минимум оч сильно запаздывают (не смотря на то что я установил 1 поток на базу). Через несколько часов работы шаба, все останавливается, если отобразить инстансы то в левом нижнем углу они все время мигают всеми цветами. Все начинает работать когда закрою ZP и СМ и запущу заново, но через какое-то время снова подвисает. Так же иногда досрочно завершается шаб с успехом, чего быть не должно, единственный успешный выход из шаба по достижению определенного значения переменной, но он не достигается (это вероятно мой косяк, попробую сам разобраться, решил упомянуть на всякий случай)
В PM все работает отлично. Если в ZP запустить штук 5 потоков то тоже вроде работает, но это не вариант. С производительностью сервера не связанно тк максимум бывает загружен на 30% (проц и оперативка).
Так же бывают странные просадки скорости КМ до 0 или почти до 0, вообще не понимаю с чем связанно, происхдит тоже преимущественно спустя какое-то время работы, решается перезагрузкой. Использую прокси airsocks. Прикладываю результаты диагностики и скрины настроек.
P.s. галочка форсировать выполнение... firefox стоит

 

[Conformist570]

Кстати больше 20 потоков даже не запускал т.к. похоже чем больше потоков тем они медленнее, вообще быстрее всего шаб выполняет PM

 

[Conformist570]

КМ тоже про версии но почти всегда использует только 1 поток даже при работе 15 потоков, так же частенько выдает ошибку что пришел пустой ответ.

 

[Mikhail B.]

Как долго выполняется проект?
Инстанс перезагружаете во время работы?
Прокси чекаете на разрыв связи во время работы?

 

[Conformist570]

Инстансы перезагружаю, Проект в ZP долго, точно не могу сказать сколько тк. всегда по разному из-за капч (процент разгадывания 30% по мнению СM по факту еще ниже) и потому что оч медленноработает, пару-тройку часов думаю точно есть, пытался сокращать проект результатов не принесло все равно половина инстансов виснет.

 

[Conformist570]

Прокси чекаете на разрыв связи во время работы?

Это как?

 

[Mikhail B.]

Просто так зенка не может работать с моб проксями. Надо создавать определенную логику. Для новичка это может быть не простой задачей.

Крутите шаб в PM и ловите ошибки.

 

[Conformist570]

в PM нет ошибок

 

[Conformist570]

Что нужно сделать что бработало с моб проксями? Мб просто проксифиер накатить?

 

[Mikhail B.]

Инстансы перезагружаю, Проект в ZP долго, точно не могу сказать сколько тк. всегда по разному из-за капч (процент разгадывания 30% по мнению СM по факту еще ниже) и потому что оч медленноработает, пару-тройку часов думаю точно есть, пытался сокращать проект результатов не принесло все равно половина инстансов виснет.

Попробуйте трассировать выполнение. Может цикл в шаблоне есть + оповещений навешайте. Начните с пары потоков.

 

[Mikhail B.]

в PM нет ошибок

Сколько раз открутили шаблон?

 

[Conformist570]

В том то и дело что пара потоков скорей всего отработает нормально, проблемы начинаются при увеличении их количества

 

[Conformist570]

И ошибок то нет, зависают инстансы, они просто висят, даже когда проект останавливается ошибок нет

 

[Conformist570]

Сколько раз открутили шаблон?

Довольно много, но как я уже сказал ошибок нет даже в ZP просто виснут инстансы либо работают очень долго, единственная ошибка ( которая даже не отмечается как ошибка это досрочное успешное завершение, но тут мь я гдето прошляпил в шаблоне, хотя ничего такого не нашел)

 

[Conformist570]

Просто так зенка не может работать с моб проксями. Надо создавать определенную логику. Для новичка это может быть не простой задачей.

Как настроить ZP на моб прокси? Proxifier + ZP без прокси сработает?

 

[Conformist570]

И я не то что бы совсем новичек, просто потерял пароль от основной учетки на форуме, восстановить будет сложно тк с почтой тоже проблемы)

 

[Mikhail B.]

Только искать затык в шаблоне. Выше уже написал про трассировку и оповещения. Можно еще поставить секундомер между действиями ключевыми, запросы, запись в список, и т.д. И выводить эту инфу в лог. Надо искать, по другому к сожалению никак.

Попробуй в зенке запусти несолько потоков. и погоняй в это время в PM шаблон.

 

[Conformist570]

Только искать затык в шаблоне. Выше уже написал про трассировку и оповещения. Можно еще поставить секундомер между действиями ключевыми, запросы, запись в список, и т.д. И выводить эту инфу в лог. Надо искать, по другому к сожалению никак.

Так что насчет моб прокси? мне их не использовать или что? Как можно проверить не теряют ли они подключение? И какие ошибки в шабе? Их нет многопоток отрабатывается просто очень медленно производятся действия в какой-то момент начинает мигать инстанс (желтый зеленый красный) что он загружается, но не загружается

 

[Mikhail B.]

Так что насчет моб прокси? мне их не использовать или что? Как можно проверить не теряют ли они подключение? И какие ошибки в шабе?

Да, загрузка прерывается, зенка не понимает что это перезагрузка прокси. Итог работа прерывается с ошибкой. Я сделал гет запросы перед ключевыми действиями если ответ есть от прокси, то продожаем работу, если нету, или 407 какой нибудь, то в цикл и проверяем пока не включится, или не закончатся попытки. Возможно стоит другого продавца прокси поискать.

 

[Conformist570]

Итог работа прерывается с ошибкой

Но работа не прерывается, если бы преывалась было бы даже лучше но инстансы висят мертвым грузом, даже какие-то запросы в КМ шлют но скорость падает. А если я возьму индивидуальны моб прокси, и буду менять IP при перезагрузке инстанса, будет работать?

 

[Mikhail B.]

инстансы висят мертвым грузом

Я третий раз повторяю делай трассировку.

А если я возьму индивидуальны моб прокси, и буду менять IP при перезагрузке инстанса, будет работать?

Если дело в моб проксях то будет лучше.

 

[Conformist570]

Если дело в моб проксях то будет лучше.

Ладно, спасибо за помощь

 

[Conformist570]

Попробуй в зенке запусти несолько потоков. и погоняй в это время в PM шаблон

Запустил 2 потока в зенке и 1 в пм все отработалось без ошибок за 40 мин (несколько раз менялся ip) , потом запустил 10 потоков в зенке 1 вПМ. Отработалось 5 в зенке и 1 в ПМ, 5 повисли, опять же ни одной ошибки. По моему все указывает на то что проблема не в шаблоне, потоки начинают виснуть когда их больше 5-ти пока меньше все гладко. Может не хватает трафика прокси, но в таком случае потоки наверное должны были отработаться после завершения других 5-ти, но они так не делают.Включил трассировку, но не знаю где и на что смотреть.

 

[Conformist570]

Посмотрел трассировку, good чередуется с bad с разной частотой
Я сделаль)

 

[doc]

Посмотрел трассировку, good чередуется с bad с разной частотой
Я сделаль)

трассировка нужна, чтобы определить, какие экшены долго выполняются или где шаб ушёл в бесконечный цикл. Твоя задача выловить подвисший поток и смотреть трассировку. Если она постоянно обновляется - в твоём шаблоне есть бесконечный цикл. Если файл трассировки остановился на какой-то записи - зависон произошёл на каком-то конкретном экшене. Его айди в той же трассировке

 

[Conformist570]

Спасибо, а как найти экшен по id не подскажешь?

 

[Conformist570]

трассировка нужна, чтобы определить, какие экшены долго выполняются или где шаб ушёл в бесконечный цикл. Твоя задача выловить подвисший поток и смотреть трассировку. Если она постоянно обновляется - в твоём шаблоне есть бесконечный цикл. Если файл трассировки остановился на какой-то записи - зависон произошёл на каком-то конкретном экшене. Его айди в той же трассировке

Спасибо, а как найти экшен по id не подскажешь?

 

[Conformist570]

Разобрался

 

[Mikhail B.]

Я думаю стоит уроки посмотреть/пересмотреть.