Тормозит zennoposter на 36 ядрах

[farmaldo]

Всем добрый день.
Господа помогите разобраться.
Есть сервер с 2 процами по 18 ядер xeon 2699v3/128gb ddr4/ssd несколько штук/1050ti

При работе шаблонов в 100-200 потоков, по web не запросами, очень некомфортно сидеть по тимпьюверу, radmin или rdp. Начинаются дикие лаги, шаблоны часто выкидывают ошибки типа Ошибка обращения к instanse.activetab, instanse.setproxy и т.п

Проц при этом загружен только 20-30%.
Ради теста в эти моменты запускаю cinebench15, он выдет 4800 очков и проц загружает в 100%.
Оперативы еще много свободной, винты по 0% загружены.

Но скорость отрисовки просто ужасная, все дико лагает, если уменьшить количество потоков то все становится более нормально, но мне надо наоборот еще увеличить потоки.

В чем может быть дело? все потоки в основном заняты 1-2 шаблонами.
Уже переставил даже с серверной 2013 винды на win10, но все тоже самое.
Переодически моргает экран, не важно включена помощь в отрисовки видюхой или нет


Или посоветуйте что можно оптимизировать, хотя тут дело в чемто другом.
Нужен ли HT?

 

[alekwuy]

дело в канале возможно?
у меня тоже на серваке отрисовка лагает потому что нет видюхи)

 

[farmaldo]

канал гигабитный, с ним вопросов нету.
Такое ощущение складывается, что проц перехватывает видеопоток и дает ему тормозов)

 

[samsonnn]

как вариант попробуйте поигратся с этой настройкой, попробуйте с галочкой и без нее

Спойлер

 

[farmaldo]

c галочкой пробовал играться, она ни на что не влияет.

Кажется мне удалось понять из за чего это происходит, у меня в основном работало 2 шаблона с многопотоком, у меня в начале и в конце шаблона был одинаковый кубик C#(Закрыть все вкладки, очистить кеш, очистить куки).
Я убрал часть с закрыть все вкладки(это жрет очень много ресурсов), стало все намного лучше. Проц теперь могу загрузить больше, тормозов меньше, но они остались. И тормоза появляются именно когда заканчивается выполняться шаблон.

Например у меня запущено 2 шаблона по 100-150 потоков, всего 200-300 потоков, время выполнения шаблона 2-5 мин, загрузка проца при этом 70-90%. Но периодически нагрузка на проц падает до 20-30%, причем очень резко, в эти моменты дикие лаги, через 5-10 секунд загрузка проца восстанавливается до 70-90% и все опять летает, отклик графики как на домашнем компе и т.п
Падение загрузки проца происходит именно при завершении шаблона и в этот же момент появляются дикие лаги...
Из за чего это может быть и как побороть?

 

[farmaldo]

Вот так выглядит нагрузка. Но в целом не важно, нагружен ли проц на 70-90%, если нагрузка будет 40%, то в какойто момент он упадет в дно и будут лаги на 5-10 секунд
https://clip2net.com/s/3SdP4ht

 

[backoff]

Падение загрузки проца происходит именно при завершении шаблона и в этот же момент появляются дикие лаги...

нагрузка падает изза того что все те 5 мин которые проц все отрисовывал и держал в себе, освобождается от этого
а лаги от того что новый инстанс загружается

попробуй убрать "перезапустить инстанс" если он стоит вначале шаблона.

а вообще тут надо оптимизировать сам шаб, так как остальные данные впорядке

 

[farmaldo]

нагрузка падает изза того что все те 5 мин которые проц все отрисовывал и держал в себе, освобождается от этого
а лаги от того что новый инстанс загружается

попробуй убрать "перезапустить инстанс" если он стоит вначале шаблона.

а вообще тут надо оптимизировать сам шаб, так как остальные данные впорядке

Лагает именно на окончании, я специально разгонял до 400 потоков, и нажимал стоп, чтобы шаблон доработал с 400 до 0 потоков. И пока он работал несколько раз происходило тоже самое, тоесть проблема именно когда происходит окончание шаблона

 

[farmaldo]

и самое главное, процессор, жесткий диск, оператива ничего не нагружено в этот момент
откуда лаги?

 

[Yuriy Zymlex]

Лагает именно на окончании, я специально разгонял до 400 потоков, и нажимал стоп, чтобы шаблон доработал с 400 до 0 потоков. И пока он работал несколько раз происходило тоже самое, тоесть проблема именно когда происходит окончание шаблона

Если лаги в прорисовке, то надо смотреть в сторону видюхи и чипсета. Может драва на них, не те поставлены или вообще отсутствуют.

Ещё советую смотреть нагрузку подобными тулзами (там и видюха, и сеть с дисками):

 

[farmaldo]

Если лаги в прорисовке, то надо смотреть в сторону видюхи и чипсета. Может драва на них, не те поставлены или вообще отсутствуют.

Ещё советую смотреть нагрузку подобными тулзами(и видюха, и сеть с дисками):

спасибо, вы сильно помогли сдвинуть.
Я ставил GPU-z чтобы посмотреть нагрузку, но там нету загрузки в 100%
Process explorer показывает нагрузку GPU в 100%
Не важно стоит галочка в зенке использовать GPU или не использовать
https://clip2net.com/s/3Se3qox

Вопрос что теперь делать?покупать мощную видюху? или дело тут не в видюхе?

 

[Lord_Alfred]

Вопрос что теперь делать?покупать мощную видюху? или дело тут не в видюхе?

Вряд ли зенка тестировалась на мощных видюхах Tesla, поэтому там можно других багов отхватить... Но в целом, я думаю, что нужно смотреть в первую очередь в шаблон и пытаться там найти проблему. У меня часто такие же ошибки валилсь в рандомное время на нагрузке, долго дебажил что происходило и нашел такой момент, что у меня там инстанс зависал тупо на одной из страниц (это проявлялось на 1% сайтов, с которыми работал шаблон) и валились именно такие ошибки. Отправил багу с тестовым шаблоном разработчикам и через пару версий это было исправлено.
Вообще, я думаю, что в таких ошибках (как в стартпосте написаны) - вероятнее всего виснет инстанс (в браузерных шабах конечно же), а уж почему так происходит - остается только долго и упорно тестировать. Обычно какой-то js вешает инстанс. Можно для начала через "трассировку" проекта искать где это произошло, потом точечно в PM смотреть (но не всегда может воспроизвестись, к сожалению), возможно ещё через "показ инстансов" пытаться выцепить этот момент или через C# метод WaitForUserAction (вроде правильно написал), если определили уже примерно кубик, где будет плохо - после его запуска (или перед его запуском, зависит от логики) - включать показ инстанса и смотреть что там творится.

Советую ещё попробовать поставить самую последнюю версию зенки (вдруг там это исправлено?) + протестировать на FF 52, FF 52x64 это. От них скорее всего нагрузка вырастет, но возможно инстансы не будут виснуть таким образом.
Плюс советую поиграться с настройкой в шаблоне "браузер без отображения содержимого" - может это поможет снизить нагрузку на GPU (но это не точно). Плюс загрузка шаблона без отображения картинок, рекламы, флеша и css (последнее на свой страх и риск, т.к. всё может поломаться!).

Обычно (на сколько я помню) нагрузка на CPU/GPU в браузере генерируется во время отрисовки (painting + rendering, ещё как-то по-другому раньше называлось, но забыл). Если есть желание погрузится вглубь и точечно найти проблему, то можно через хром (например) через профайлер найти те места на том сайте (с которым работаешь), которые больше всего генерируют нагрузку: https://developers.google.com/web/tools/chrome-devtools/rendering-tools/ А потом просто "повырезать" их через "Политика содержимого" и методы ChangeResponse/ChangeRequest. Тупо избавиться от них со страницы, чтобы браузере не делал нагрузку в этот момент. Вариант, конечно, не идеальный и потребует значительного времени для того, чтобы разобраться, но это всяко лучше чем идти и покупать новую видеокарту

PS: если была бы возможность в зенке получить данные из "консоли" разработчика, именно ошибки JS что вываливаются - было бы очень здорово. Я думаю, что в ходе тестирования разработчики зенки имеют такую возможность, просто она "скрыта" от наших глаз. Если вдруг это каким-то образом возможно сделать - буду благодарен за наводку, часто самому такое нужно, т.к. там часто содержатся ошибки от JS со страницы, которые могут помочь разобраться почему инстанс виснет. И, да, сразу же скажу, что как раз интересно получать их в зенке, а не хроме или обычном FF, т.к. там может быть что-то такое, что воспроизводится только в зенке (как у меня с багом и зависшим инстансом было).

 

[Yuriy Zymlex]

показывает нагрузку GPU в 100%
Не важно стоит галочка в зенке использовать GPU или не использовать

Кто-то уже создавал тему, с подобной проблемой.

https://zennolab.com/discussion/threads/zenka-gruzit-graficheskij-processor-kak-zakryvat-instansy.45579/

 

[Lord_Alfred]

Кто-то уже создавал тему, с подобной проблемой.

https://zennolab.com/discussion/threads/zenka-gruzit-graficheskij-processor-kak-zakryvat-instansy.45579/

Да, уже несколько тем разных было про эти ошибки, можно поискать по форуму по крупицам, но точного решения нигде нет, ибо оно для каждого скорее всего свое будет..

 

[farmaldo]

Да, уже несколько тем разных было про эти ошибки, можно поискать по форуму по крупицам, но точного решения нигде нет, ибо оно для каждого скорее всего свое будет..

Спасибо вам за что потратили время и написали развернутый ответ

В общем удалось локализировать проблему. Для начала я попробовал поставить gtx 1080, проблемы это не решило)
Решил пойти по пути от пути силы к ловкости)

Суть такая, у меня есть пару шаблонов работающих в сумме на 200 потоков. Пока работают только эти шаблоны, то процессор грузится равномерно, можно выжать 100% нагрузки всех 36 ядер на 72 потоках, и даже при такой нагрузке все очень хорошо откликается.
Как только я запускаю шаблон с телеграмом, буквально в 5 потоков(собственно у меня больше никогда и не было не телеге), спустя 20 секунд нагрузка на проц падает со 100% на 20-30% и все дико лагает в течении 5 секунд, потом опять возвращается к 100%. И так идет по синусойде, даже если телеграм запустить в 1 поток, лаги тоже будут.
GPU при этом простреливает в 100% но не на долго. Я пробовал отключать css, нагрузка чуть меньше, но проблемы все теже.
Пробовал отключать отображение содержимого браузера, тогда gpu нагрузка 0%, но лаги и проблемы такиеже.
Следовательно проблема определенно в js.
Пока перекинул наблон на другой сервер, на обычном i5, там проц грузится, но лагов нету и все ок.

Поэтому у меня возникло пора версий из за чего это вообще все происходит. Мне кажется у меня такое было не только на этом шаблоне, хотя возможно это уже паранойя, т.к очень долго ищу источник проблемы, но разберу на примере телеграма.

1) JS в телеграме мимо настроек фаервокса(зенки) всетаки както использует видеокарту, и поэтому идет нагрузка на проц. Т.к очень странно было когда я отключил отображение содержимого браузера, GPU было 0%, но глюки были.
2) JS в телеграме чудит из за дикой конфигурации типо серверное железо xeon+десктопная видеокарта
3) Какойто мифический баг драйверов чипсета, видеокарты или еще чего либо, т.к даже 1 поток, почемуто забирает на себя все прерывания процессора и видюхи. Проблема была и на win10 и на win server 2012.
4) происки русских хакеров))

 

[Lord_Alfred]

Спасибо вам за что потратили время и написали развернутый ответ

Просто понравилось, что вы решили искать проблему, а не пишите в духе "зенка не работает! разработчики, исправляйте!" )

По сабжу: очень хорошо, что удалось локализовать шаблон, который приводит к такому странному поведению. Тогда посоветую вам несколько путей развития для решения данной проблемы:
1) Провести трассировку по этому шаблону и найти места, где что-то очень долго грузится или после чего отваливается инстанс (если в логе по этому шабу есть ошибки инстанса).
2) Включить отображение инстанса и запустить 1-2 потока шаблона по телеграму и смотреть что там происходит, скорее всего будет какой-то момент где страница будет неприлично долго грузится (т.к. зависнет js)
3) Если видимых проблем не удастся найти, то попробовать попросить разработчиков разобраться в чем дело, отправив им целиком шаблон + все необходимые файлы (чтоб они могли запустить у себя всё, не имя телеграм аккаунтов и т.п.) через support.zennolab.com

PS: на сколько помню, телеграм изначально позиционировался как "криптографически защищенный" мессенджер, поэтому не исключено, что в браузере рассчитываются какие-нибудь хеши для валидации того, что сообщение не перехвачено в ходе отправки/получения. Возможно, они то как раз и грузят GPU + так влияют на CPU.

 

[evgen_po]

2) Включить отображение инстанса и запустить 1-2 потока шаблона по телеграму и смотреть что там происходит, скорее всего будет какой-то момент где страница будет неприлично долго грузится (т.к. зависнет js)

Как это лечить? Если кривой скрипт или еще что и в определенных местах такое происходит, не подскажете оптимальное решение?

 

[Oleg1987]

А какой браузер используете в шаблоне с телеграммом? Просто по наблюдению многие сайты со сложным JS начинают лагать в ff45. Уж слишком она старая уже на сегодняшний день

 

[Lord_Alfred]

Как это лечить? Если кривой скрипт или еще что и в определенных местах такое происходит, не подскажете оптимальное решение?

Тут 3 пути решения, если локализован js, который вешает инстанс:
1. Вырезать его через "политику содержимого"
2. Вырезать часть js-кода (которая вешает инстанс) через ChangeResponse
3. Обратиться за помощью к разработчикам

 

[evgen_po]

Тут 3 пути решения, если локализован js, который вешает инстанс:
1. Вырезать его через "политику содержимого"
2. Вырезать часть js-кода (которая вешает инстанс) через ChangeResponse
3. Обратиться за помощью к разработчикам

Как понять какой именно "вешает" инстанс, особенно если не силен в JS (только С# на уровне написания собственных снипетов) - путем перебора, т.е. методом "тыка"?

 

[Lord_Alfred]

Как понять какой именно "вешает" инстанс, особенно если не силен в JS (только С# на уровне написания собственных снипетов) - путем перебора, т.е. методом "тыка"?

Да, отключая через "политику содержимого" последовательно все скрипты, которые загружаются с самого начала работы шаблона и до нужного места. Муторно, долго, мучительно. Поэтому я и писал выше:

PS: если была бы возможность в зенке получить данные из "консоли" разработчика, именно ошибки JS что вываливаются - было бы очень здорово. Я думаю, что в ходе тестирования разработчики зенки имеют такую возможность, просто она "скрыта" от наших глаз. Если вдруг это каким-то образом возможно сделать - буду благодарен за наводку, часто самому такое нужно, т.к. там часто содержатся ошибки от JS со страницы, которые могут помочь разобраться почему инстанс виснет. И, да, сразу же скажу, что как раз интересно получать их в зенке, а не хроме или обычном FF, т.к. там может быть что-то такое, что воспроизводится только в зенке (как у меня с багом и зависшим инстансом было).

 

[evgen_po]

Да, отключая через "политику содержимого" последовательно все скрипты, которые загружаются с самого начала работы шаблона и до нужного места. Муторно, долго, мучительно. Поэтому я и писал выше:

Спасибо!

 

[Dp76]

У меня вот практически такая же проблема - только система загружена на 10-15%, отрисовка всего просто страх и ужас, Project Maker запустить невозможно...
Пришли ли кто-то из форумчан к решению проблемы?

 

[specialist]

только система загружена на 10-15%, отрисовка всего просто страх и ужас

Система это процессор или это что-то еще? Возможно упирается в пропускную способность сети или жесткого диска. Слишком мало данных, чтобы однозначно что-то ответить.

 

[DmitryiAsp]

У меня вот практически такая же проблема - только система загружена на 10-15%, отрисовка всего просто страх и ужас, Project Maker запустить невозможно...
Пришли ли кто-то из форумчан к решению проблемы?

Удалось решить проблему?

 

[specialist]

Удалось решить проблему?

В частном режиме - да, данные нужны, может быть подключение к серваку тормозит из-за видеокарты, слишком слабая или жесткий диск слишком медленный. Детали нужны.

 

[Dp76]

Удалось решить проблему?

да, в BIOS системы было выставленно Power save mode или что-то такое, как только переключили систему в Performance - все стало на свои места

 

[Yuriy Zymlex]

да, в BIOS системы было выставленно Power save mode или что-то такое, как только переключили систему в Performance - все стало на свои места

Кстати, необходимо и в самой windows переключать на High perfomance:

 

[specialist]

Интел «Парковка ядер», если лезем в производительность, то стоит попробовать и ядрами управлять



кому-то помогает, кому-то нет

чтобы появились настройки большинству нужно будет внести правки в реестр, файл во вложении

далее получаем следующий вариант управления



Рекомендации следующие

• Минимальное число ядер в состоянии простоя: 99%.
• Разрешить состояния снижения питания: Вкл.
• Отключение простоя процессора: Включить состояние простоя.
• Минимальное состояние процессора: 0%.
• Политика охлаждение системы: Активный.
• Переопределение ядра приостановки ядра производительности процессора: Включено.
• Максимальное состояние процессора: 100%.
• Максимальное число ядер в состоянии простоя: 100%.

Для AMD работает или нет не знаю, лично не пробовал
INTEL на части компов прирост есть.

Почему такие настройки, объясняется на оверклокере

Как проверить растут птички или нет? Вариант, открываем архиватор WinRAR, верхнее меню операции - тест быстродействия. Сравниваем до и после. На ocomp не плохо описано про то как тестировать и куда смотреть.

 

[Yuriy Zymlex]

Так же добавлю, что может иметь пользу изменением величины кванта потока: