Возможность отключения подгрузки 'стандартных' профилей в безбраузерном режиме

[dimafatality]

Вместо эпиграфа:

Начиная с версии 7.3.0 (на самом деле замечено еще на 7.2.1), я заметил, что мои шаблоны начали выполняться намного дольше. Опытным путем было обнаружено, что ZP время от времени просто "задумывается" и подвисает: поток как бы выполняется, но при этом ничего не происходит, в трассировке этих зависаний не видно.

Создав тикет, я получил ответ, что это происходит из-за 'подгрузки профилей':

Теперь к интересному - фактическая производительность упала в 2-4 раза.
Если на 7.1.5 (при прочих равных) база из 300к аккаунтов чекается 4 часа, то на 7.3.0 - за 12-14 часов.

Проверить можно на простейшем шаблоне: кубик random + вывод оповещения в лог.
Проведем небольшой тест: 7.1.5 vs последняя 7.3.2.1, настройки дефолтные + 1 поток на базу.

Итого, 5000 выполнений в 25 потоков:

7.1.5 -- ~27 секунд;
7.3.2.1 -- ~66 секунд;

В более 'комплексных' шабах и с бОльшей нагрузкой эта разница кратно увеличивается.
https://disk.yandex.ru/i/Zlp7qZU55iNuUw - скринкаст.

Теперь к сабжу.

Я предлагаю сделать дополнительный чекбокс, при активации которого в безбраузерном режиме не будет генерироваться 'стандартный' профиль, т.е не будет имени-фамилии-города-useragent-navigator и прочих штук.

+ Ускорение работы в проектах, где не нужны профили (банально - работа с imap/smtp через внешнюю либу);
+ Ускорение работы post/get 'когда-это-надо': если мне важно ускорить выполнение, то я буду брать нужные служебные данные из БД, а не ждать, пока данные будут сгенерированы;

PS: возможно, если 'лайков' на кнопке голосования будет много, то данный функционал и реализуют.
Иначе, этот топик можно перенести в подраздел "баги", смириться и забыть:

 

[Phoenix78]

интересно... а браузерные шаблоны пусть становятся все более и более тормознутыми ?

 

[bigloafer]

а браузерные шаблоны пусть становятся все более и более тормознутыми ?

Ну из предложения получается, что так.
У меня тоже иногда как будто подвисает. Это видно по логу, хотя уверенно идет на get/post.

 

[dimafatality]

а браузерные шаблоны пусть становятся все более и более тормознутыми ?

По браузерным шаблонам лучше создавать топики тем, кто с ними работает.
Я последние несколько лет в ЗП юзаю только post/get ибо не очень приветствую мазохизм)

 

[devffy]

По браузерным шаблонам лучше создавать топики тем, кто с ними работает.
Я последние несколько лет в ЗП юзаю только post/get ибо не очень приветствую мазохизм)

Так почему бы не сидеть на 7.1.5?)
Пусть лучше стабильность и скорость завозят, а не «плюшки» добавляют)

 

[dimafatality]

Так почему бы не сидеть на 7.1.5?)

Моя основная версия, но все чаще и чаще приходится юзать 7.3 из-за кое каких изменений.

Пусть лучше стабильность и скорость завозят, а не «плюшки» добавляют)

А чем топик не про скорость? Это именно про скорость, которую хочется вернуть хотя бы на уровень прошлых версий.
Просто если бы я создал тему в раздел баг-репортов, то перспектив вообще нет, "не первый раз замужем".

//
А вообще странно, что вы тут достаточно "агрессивно" настроены - это касается абсолютно всех кто юзает безбраузерные шабы. Еще раз: обычный чекер с обращением к БД и 1 пост запросом в последних версиях выполняется в 3 раза медленнее, чем раньше.
Я не знаю как там дела в браузерных проектах (думаю, что не очень, как всегда), но в чем проблема? Создавайте топики и выносите на публику, писать бесконечные тикеты и получать ответ "создали таску" (который уже давно стал мемом аля Soon™ от Blizzard) это конечно хорошо, но не эффективно.

 

[backoff]

предложение в целом логичное, поддерживаю

 

[devffy]

Если разрабы вернут производительность 7.1 версий, То думаете шаблон будет отрабатывать быстрее? "7.1.5 -- ~27 секунд"
Ну понятно что быстрее, но мне кажется секунды на 2
Я про то что пусть это в последний момент делают, сначала пусть прошлые цифры вернут

 

[RoyalBank]

Поддерживаю, не пользуюсь этим. Вообще, думаю, на возможности оптимизации можно много сэкономить, например полностью отключить запись логов в текстовые файлы. Почему подобный элементарный функционал нельзя реализовать?

 

[Oleg1987]

Поддерживаю. Оно и в PM чувствуется. Когда нажимаешь "Сначала" - совершенно пустой проект долго думает на новых версиях.

 

[dimafatality]

Поддерживаю. Оно и в PM чувствуется. Когда нажимаешь "Сначала" - совершенно пустой проект долго думает на новых версиях.

Накинем на вентилятор?

Win10, 2689v1 x2, 128ram
7.5.1, безбраузерные проекты, 1 поток на базу.
250 потоков

"Лог" - время от сообщения "Первичная компиляция проекта перед первым запуском" до последнего сообщения в лог.
"Трассировка" - эффективное время работы шаблона.

// Шаб 1: пауза 1 секунда + вывод сообщения в лог после этого.

Тест на 1000 выполнений: 6 сек - лог == 4 сек - трассировка == потеряли 2 сек
Тест на 5000 выполнений: 85 сек - лог == 20 сек - трассировка == потеряли 65 сек
Тест на 5000 выполнений #2: 98 сек - лог == 20 сек - трассировка == потеряли 78 сек

+ 5000 выполнений в 50 потоков: 158 сек в логе, 100 сек трассировка == -58 секунд.

Бонус: 5 тысяч выполнений в 250 потоков на версии 5.42 (от быстродействия PM покатилась скупая слеза): 40 сек - лог == 20 сек - трассировка == потеря 20 сек, что на 200-300% быстрее, чем текущие версии.

// Шаб 2: 1 кубик get запроса к chek.zennolab.com/proxy.php через leaf.xnet

Тест на 1000 выполнений: 6 сек - лог == 4 сек - трассировка == потеряли 2 сек
Тест на 5000 выполнений: 53 сек - лог == 5 сек - трассировка == потеряли 48 сек
Тест на 5000 выполнений #2: 43 сек - лог == 5 сек - трассировка == потеряли 38 сек

Да, я понимаю, что есть некая погрешность на создание потоков, но то что происходит - это полный треш.

И да, ЗП обрастает новыми функциями, но 99% из них относятся к браузерным шаблонам (повторюсь, не юзаю - так что ничего объективного о них сказать не могу), но они каким-то образом убивают post/get.

PS: чтобы постараться исключить то, что это у меня система лагает, попросил товарища сделать тоже самое на WinServer 2016, Ryzen 3600, 64 ram, zp 7.3.0:

Шаб с паузой + сообщением в лог, 5000 выполнений, 250 потоков: 82 сек - лог == 22 сек - трассировка == потеряли 60 сек

PSS: Еще раз, для тех кто не читал первый пост. Если судить по ответу саппорта в тикете, то это происходит из-за того, что "профили стали тяжелее, они генерируются на серверах и идет подгрузка"(с). Сейчас, с последними нововведениями, они станут еще тяжелее, соответственно, ждать в постгете будем еще больше?

 

[Konrod_m]

в теории и для браузерных шаблонов должно быть полезно - когда работа идет со своими уже готовыми профилями..