Ловим зависшие инстансы

Astraport · 22.01.2020

О, респект!
Надо изучить, проблема очень актуальная.

sociohacker · 06.02.2020

Phoenix78 сказал(а):
Тема - всеми любимые зависоны шаблонов.

Здравствуйте и в этой теме!

Спасибо вам огромное за инфу! Дико удивляет, почему этой проблеме НЕ уделяется 99% внимания разработчиков, ибо без стабильной эффективной работы ЗП нет смысла в новых фишках же.

Если вас не затруднит, прошу ответить на пару вопросов касаемо написанного вами выше:
1)

Phoenix78 сказал(а):
после BadEnd не должно быть никакого обращения к браузеру. всякие скриншоты, сохранение профиля ,закрытия вкладок , всего этого быть не должно. Запись в лог, в базу данных можно.

можно ли писать строчку в .txt файл стандартным кубиком (операции со списком)? Шаб в начале работы дёргает строчку из .txt списка акков, а на good/bad энде — запихивает её обратно. Вот хочу понять, если использовать ваш способ отлавливания зависонов, можно ли эту строчку как-то возвращать обратно в список со 100% гарантией (чтобы не потерялись строчки акков)? Стандартный кубик сработает или надо на С# колбасить?

2)

Phoenix78 сказал(а):
надо проверять внешние прерывания, что бы шаблон можно было прервать в любую секунду

Правильно ли понимаю, что если поставить хотя бы 1 такой кубик с С# кодом

C#:

if(((ZennoLab.InterfacesLibrary.ProjectModel.Collections.IContextExt)project.Context).IsInterrupted) throw new Exception("Внешнее прерывание");

в проект (первым кубиком, например), то при прерывании шаблона через контекстное меню в самом ЗП, шаблон резко прервётся и пойдёт по BAD END, на каком бы этапе в этот момент он ни находился? То есть, даже в случае с рабочим инстансом — если прервём шаблон, то выведем его по BAD END и, таким образом, он успеет сделать запись строки акка обратно в список?

Если так, то это круто в любом случае, даже если нет проблем с инстансом!

3) немного не понял насчёт сравнения времени выполнения "рисковой команды". Нам надо засекать время перед каждым кубиком действия с браузером? И потом после кубика - получать текущее время и сравнивать с прошлым?

Видимо, я не понял просто принципа самого кубика с С# кодом...

Подозреваю, что в нём ведь уже есть всё сразу, то есть, мы через С# сначала засекаем время, затем делаем универсальную "рисковую операцию" — запрашиваем любой элемент на активной вкладке, а уже потом, если долго не можем его получить — то выходим по BAD END? Верно?

ИТОГО: можно кубик с этим кодом

C#:

// засекаем время
DateTime now = DateTime.Now;
// выполняем рисковую команду с браузером
instance.ActiveTab.FindElementByXPath("",0);
// считаем сколько времени выполнялась команда
TimeSpan Delta_Time = DateTime.Now-now;
int Time_Difference                    =     Delta_Time.Milliseconds;
Time_Difference = Time_Difference +     Delta_Time.Seconds*1000;
Time_Difference = Time_Difference +     Delta_Time.Minutes*60*1000;
Time_Difference = Time_Difference +     Delta_Time.Hours*60*60*1000;
Time_Difference = Time_Difference +     Delta_Time.Days*24*60*60*1000;
// анализируем время
if ( Time_Difference > 60000 ) throw new Exception("Обнаружено замедление выполнения команды в инстансе, таймер = " + Time_Difference.ToString() );
// проверка вкладки на пустоту
if ( instance.ActiveTab.IsVoid || instance.ActiveTab.IsNull )     throw new Exception("Обнаружена пустая вкладка");
// выход по внешнему требованию
if(((ZennoLab.InterfacesLibrary.ProjectModel.Collections.IContextExt)project.Context).IsInterrupted) throw new Exception("Внешнее прерывание");
if(Global.Variables.IsProjectMaker && !Global.Variables.IsDebugMode)  throw new Exception("Внешнее прерывание");

ставить ДО и ПОСЛЕ каждого обычного кубика в ПМ и тогда мы будем 100% подстрахованы от огромных потерь времени из-за ошибок браузера, верно?

Или же можно поставить его несколько раз в шаблоне просто, урезав таком образом кол-во команд, которые шаб выполнял бы по 1 минуте (таймаут инстанса)? Просто чтобы не делать сотни этих проверочных-страховочных кубиков.

Спасибо ещё раз за то, что делитесь наработками по этой проблеме. Вы мне тут реально спасаете положение этой инфой :-)

P. S.: как думаете, может есть смысл ещё меньше таймаут выставить вот тут?

C#:

if ( Time_Difference > 60000 ) throw new Exception("Обнаружено замедление выполнения команды в инстансе, таймер = " + Time_Difference.ToString() );

Ведь если мы ищем любой элемент на странице, то он должен находиться очень быстро, за секунды. Значит, можно выставить тайм-аут в 20 сек - и будет норм? У меня всё равно всегда паузы стоят после перехода на URL по 15-20 секунд, так как иногда кубик перехода срабатывает сразу и уже отображается выполненным в ПМ, хотя по факту страничка ещё грузится.

sociohacker · 06.02.2020

Phoenix78 сказал(а):
Можно. Но для сохранности все таки лучше обратно писать в момент старта. дернули и сразу в конец запихали. Если нужно дописывать результаты работы, то в конец строки можно добавлять рандомную соль и в конце работы шаблона находить запись с этой солью и перезаписывать на нужные данные.

нет, это масло масляное. При прерывании проекта для шаблона выставляется флаг прекращения работы, который всегда проверяется системой при переходе между кубиками.
Эта строка нужна для теоретически долгих циклов именно внутри кода C# так как кроме программиста реализующего логику цикла , там никто не властен.
насчет сохранности записи выше написал.

нет, я писал про команды аналоги на C# . все это должно происходить в коде C#, в кубике или в общем коде. Я использую кубики и графическую систему как логическое построение в целом. Потому что мне так удобно.
Например я кликнул по кнопке. Мне надо дождаться результата. Я пихаю код нахождения элемента и сам клик в первый кубик и проверяю результат во втором. дальше самое опасное, ожидание прогруза элемента.
В цикле с периодичностью 1 секунда происходит обращение к браузеру. И если он крашиться имеем непредвиденный долгий цикл. Выйти из цикла помогает как раз замер времени операции считывания из браузера. А сам кубик может долго выполняться, в этом нет ничего плохого. Именно по причине того что вот такой огород надо городить с каждой командой, я и писал что код становиться нечитабельным и очень большим. этот момент надо четко понимать. Выход конечно есть. Надо изучить как строить код в общем коде и тогда все опять сворачивается в удобочитаемый код в кубике C#. вот пример как у меня выглядит кубик ожидания элемента.
Посмотреть вложение 49652

а вся работа делается в общем коде. ну там такие портянки....

Нет, это проект превратиться в огромного нечитаемого монстра. Кубики оставим разработчикам. Это их вотчина. Как компромисс, самые опасные по потери времени надо перевести в C# , в основном это циклы ожидания появления элемента.

Это аварийный таймер. Я себе 40 секунд выставил. Но по наблюдениям если происходит аврал то замедление будет от 50-60 секунд. зависит от этой настройки
Посмотреть вложение 49653

для загрузок страничек я себе выставляю 20 с. таймаут загрузки страничек. что в два раза меньше аварийного. Сколько вот крутиться этот код, все нормально.

Спасибо за разъяснения :-)

Дело в том, что я не шарю в С#, только по мелочам. В моём случае нужна затычка от падений/зависаний инстанса при работе с обычными кубиками ЗП. Вот я и думаю, как лучше реализовать эту затычку в формате таких же кубиков с каким-то детектирующим падения/зависания С# кодом.

Как понимаю, если инстанс падает, то происходит ненужное и бессмысленное ожидание, равное продолжительности этого самого "Таймаута выполнения команды в инстансе" — такое происходит при каждом действии, имеющем отношение к браузеру, верно? И весь гемор в том, что невозможность выполнить это самое действие НЕ выводит шаблон по BAD END, ибо инстанс тупо не пашет и, следовательно, даже команда "найти элемент на странице" — НЕ выполнится с ошибкой. Получается, шаблон продолжает пытаться выполнять команды и занимает поток (и всё это тщетно, т. к. инстанс не пашет), правильно я понял?

Скажите, если мы всё-таки вставим ваш код, как отдельный С# кубик в несколько самых проблемных мест в шаблоне, то если инстанс зависнет, ему тогда уже не придётся идти до конца шаблона (что долго), а всего лишь до ближайшего "проверочного" С# кубика. Верно я понял? Т. е., всё таки какой-то смысл даже в таком костыле есть, получается?

Oleg1987 · 06.02.2020

Phoenix78 сказал(а):
да, одна команда превращается в кучу кода. читаемость кода резко падает. как выход все это можно запихнуть в общий код. как пример приведу переход по URL в общем коде
а в кубике C# она вызывается tab.NavigateWithCheck(url, DateTime.Now ,NavigateTimeout);

Лучше сделать ддлку врапер, в ней обвертки для нужных методов в виде асинхронных функций. И внутри метода уже отщитывать время выполнения таски. Макс. время задавать опционально, чтоб можно было задать глобально для всего проекта либо в каждой функции отдельно в виде параметра.

;-)

sociohacker · 06.02.2020

Phoenix78 сказал(а):
ну если подходить с этой точки зрения, то можно в ключевых точках проставить такие проверяющие кубики. Если есть цикл по шаблону то можно прервать работу шаблона при подозрении на неработающий инстанс.

Понял, спасибо.

Я заметил странную штуку: проект относительно нормально работает при 30 потоках, а вот при поднятии до 40-50 - всё зависает напрочь. Вообще то есть. Как-то могут инстансы начинать тупить, только когда их много?
Ресурсы позволяют в 60-100 браузерных потоков работать, то есть не в этом причина, по идее.

У вас такое было?

sociohacker · 06.02.2020

Phoenix78 сказал(а):
всякое было. гулялка например умудрялась забредать на сайты с майнерами. даже 5-10 потоков просто вешали сервер. прикрутил блокировку нежелательных скриптов, отпустило.
Из последних закидонов, так это фул эмуляция мыши под хромом. толи фул скролл то ли фул движение , не знаю точно. просто вешали ту же гулялку и вылетали шабы по таймауту описанному в этом топике. убрал полностью фулэмуляцию из шаблона и уже 2-е суток ни разу не вылетел и не завис.

Про майнеров - жесть, конечно :-)

Слушайте, сорри заранее, если я задолбал... Но можно ли этот проверочный кубик С# ставить уже ПОСЛЕ Bad End? Хочу так: ЕСЛИ после наступления Bad End браузер работает, то сохраняем профиль. Если НЕ работает, то просто пишем в текстовый файлик.

Я ж так понял, если у браузера аврал - то всё равно профиль не получится сохранить, в смысле — куки нужны. Так вот, чтобы не ждать лишний раз, если всё равно перелогиниваться придётся потом.

sociohacker · 07.02.2020

Phoenix78 сказал(а):
ну а почему бы и нет. можно завести переменную и если где то в шаблоне поймали аврал, ее выставить. а после беденда проверить ее. ну что бы по 2-й раз не делать проверку.

Спасибо. Типа вот так?

C#:

if ( Time_Difference > 60000 ) 
{throw new Exception("Обнаружено замедление выполнения команды в инстансе, таймер = " + Time_Difference.ToString() )
project.Variables["instance_fail"].Value = 1};

if ( instance.ActiveTab.IsVoid || instance.ActiveTab.IsNull )
{throw new Exception("Обнаружена пустая вкладка")
project.Variables["instance_fail"].Value = 1};

Spelin · 07.02.2020

Phoenix78 сказал(а):
всякое было. гулялка например умудрялась забредать на сайты с майнерами. даже 5-10 потоков просто вешали сервер. прикрутил блокировку нежелательных скриптов, отпустило.
Из последних закидонов, так это фул эмуляция мыши под хромом. толи фул скролл то ли фул движение , не знаю точно. просто вешали ту же гулялку и вылетали шабы по таймауту описанному в этом топике. убрал полностью фулэмуляцию из шаблона и уже 2-е суток ни разу не вылетел и не завис.

Отключил галку в настройки шаба или полностью убрал методы эмуляции full ?
Ловлю точно такие же глюки просто.

Spelin · 07.02.2020

Phoenix78 сказал(а):
галочку не снимал. есть пара мест где клик делается. там наверно с фул эмуляцией происходит.
а вот скрол и мотание мышки по экрану полностью убрал.

Мотание точно не причем. Если делал по точкам. У меня что с ними что без одинаково. Проверял.

sociohacker · 07.02.2020

Phoenix78 сказал(а):

C#:

if ( instance.ActiveTab.IsVoid || instance.ActiveTab.IsNull )
{
    project.Variables["instance_fail"].Value = "1";
    throw new Exception("Обнаружена пустая вкладка");
}
// замер времени
DateTime now = DateTime.Now;
string test = instance.ActiveTab.Name;    // или свою команду работающую с браузером
TimeSpan Delta_Time = DateTime.Now-now;
double Time_Difference = Delta_Time.TotalMilliseconds;

if ( Time_Difference > 60000 )
{
    project.Variables["instance_fail"].Value = "1";
    throw new Exception("Обнаружено замедление выполнения команды в инстансе" );
}

Спасибо!

Oleg1987 · 09.02.2020

@Phoenix78, а как ты потом зависшие инстансы убиваешь? Я вот завернул методы зенки в асинхронные функции, как выше писал. По тайм ауту вылетает ошибка. Поток закрывается, но инстанс так же продолжает висеть в процессах и не мерено жрать ресурсы

Konrod_m · 09.02.2020

А может есть идеи как отлавливать зависшие инстансы в чужих шаблонах? мне что-то видится только вариант контроля лога.. но разбивки логов по проектам нет...

orka13 · 10.02.2020

Konrod_m сказал(а):
А может есть идеи как отлавливать зависшие инстансы в чужих шаблонах? мне что-то видится только вариант контроля лога.. но разбивки логов по проектам нет...

Первое что в голову пришло: ловить по последней дате редактирования и строке файла потока в трассировке (c:\Users\Administrator\Documents\ZennoLab\Traces\). Но как их связать хз, сам не практиковал.

Gfoblin · 10.02.2020

Phoenix78 сказал(а):
в основном это циклы ожидания появления элемента

Вот это зло зачем вообще если не секрет?
У меня есть, но там ооооооооочень короткие циклы, когда были бесконечные - смена диза или ещё чего и шаблон вставал намертво...

Gfoblin · 10.02.2020

Phoenix78 сказал(а):
какое зло ? ожидание появления элемента ? какое же это зло. насущная необходимость. никто же не знает через сколько секунд появится элемент. ставить фиксированную паузу вообще не вариант. то что там браузер ставит галочку о окончании загрузки, это вообще ни о чем. это он основу подгрузил и там нет нужного элемента, а через секунду скрипты начинают формировать страницу и появляется нужный элемент.

дык у тебя циклы бесконечные или какие? сколько ты ждёшь элемент примерно... не вижу смысла ждать его больше минуты или двух )))

sociohacker · 12.02.2020

@Phoenix78, подскажи, пожалуйста: заметил, что иногда происходит зависон всего шаблона/шаблонов в зенке. Например, бывают иногда, что пол часа может вообще не выполняться шаблон, т. е. ни один из 40 потоков не работает по факту. Инстансы открыты, но в них не совершается никаких действий, т. е. просто висит всё.
И самое интересное, что я вообще ничего не меняю, но через минут 20-40 всё обратно отвисает - и продолжает работать как ни в чём ни бывало.
Прикрепляю скрин. В логе 20 минут нет ни одной записи. Такого просто никак быть не должно, т. е. шаблон длится максимум минут 5. Запущен в 40 потоков. В любом случае в лог пишется в норме куча сообщений. А тут - зависон на 20 минут.

Просто подумал, что может у тебя тоже похожие глюки бывали, ну или может какие идеи есть?

Репорты я, конечно, шлю всегда разработчикам. Но вот пока не разобрались с этой проблемой.

Я думал, что это именно инстансы зависали. А, по ходу дела, они не настолько часто зависали и проблема в чём-то ещё.

Спасибо!

Ловим зависшие инстансы

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Вложения

Кто просматривает тему: (Всего: 4, Пользователи: 0, Гости: 4)