XEON 2011. Cобираем убойный сервер под зенопостер.

[artomka]

не очень конкретно - видео ты через зено гонять собрался ? или тебе нужен видео редактор типо примьера или файнел кат ?
Адроид студио это видимо тоже не для зены ? ты разработчик ?

Все через зенно

Я ведь написал видосы через ffmpeg, эмули от андроид студио.

Зенка управляет логий и тем что дальше делать с готовым контентом.

 

[luk911]

Сдаюсь - терабайт видео через зену, я не знаю что там можно делать. Трасляцию вести, так это и целерон голимый справится. Вообщем какой вопрос таков, ответ - бери и не парься

 

[artomka]

Сдаюсь - терабайт видео через зену, я не знаю что там можно делать. Трасляцию вести, так это и целерон голимый справится. Вообщем какой вопрос таков, ответ - бери и не парься

Ну с трансляциями может и справиться а вот с генерацией контента нет.

Из железа сейчас i7-8700,64gb ram,1050ti.

Загрузка цпу 100% при 4 эмулях. Гпу 100% при 2х потоках обработки видео.

Память 40гб свободно, но это потому что мало эмулей.

 

[luk911]

Ну с трансляциями может и справиться а вот с генерацией контента нет.

зена и генерация видео на терабайт ? может я чего не знаю конечно... Короче, есть подробное описание задачи с нюансами - есть варианты. Лень описывать, ну тогда совет один - бериииии, надо брать. не парься. Однозначно окупится !

 

[luk911]

Мне кажется к проблеме надо подойти с другой стороны, нет смысла искать счастья в железе, а вот подход как это делать и через что - можно пересмотреть. К сожалению тут я больше ничем помочь не смогу.

 

[artomka]

Мне кажется к проблеме надо подойти с другой стороны, нет смысла искать счастья в железе, а вот подход как это делать и через что - можно пересмотреть. К сожалению тут я больше ничем помочь не смогу.

Я не очень понимаю почему вас смущает колличество видео обработки через зенку.

Ffmpeg отлично работает вместе с ней, зенка не ресурсозатранта и легко настраивается планировка + сообщение с другими шаблонами.

Тоже самое с управлением эмулями, парочка либ и сиди себе соединяй кубики ( правда спшлоной C#) что нереально ускоряет разработку и построение логики.

+ теже репорты шлются вебхуками в любой мессенджер 1 кубиком, ну или в любую админ панель умеющюю обрабатывать данные из вне.

 

[luk911]

Я не очень понимаю почему вас смущает количество видео обработки через зенку.

На сколько я понял, у вас два узких места - первое - обработка видео через ffmpeg - первое предположение, возможно это не лучший способ обработки видео и возможно, можно найти альтернативный способ, чтоб сократить затраты на создание этого видео.
Вторая проблема - это то что вы пытаетесь использовать весьма ресурсоёмкий дроид эмуль (как вы его называете), возможно есть альтернативы для решения вашей задачи в нем.
Но в целом, опять же, если есть настроенная технология, есть деньги, и не хватает только железа, так это самое простое - масштабироваться по горизонтали так сказать бери и не парься.

 

[artomka]

На сколько я понял, у вас два узких места - первое - обработка видео через ffmpeg - первое предположение, возможно это не лучший способ обработки видео и возможно, можно найти альтернативный способ, чтоб сократить затраты на создание этого видео.
Вторая проблема - это то что вы пытаетесь использовать весьма ресурсоёмкий дроид эмуль (как вы его называете), возможно есть альтернативы для решения вашей задачи в нем.
Но в целом, опять же, если есть настроенная технология, есть деньги, и не хватает только железа, так это самое простое - масштабироваться по горизонтали так сказать бери и не парься.

Так поэтому и решил уточнить, возможно кто-то уже работал с подобным железом и как на нем обстоят дела с эмуляцией.

Сам я из того что вычитал, понял только то что HAXM нет и все работает но хуже.

А вот насколько хуже хз... И тратить 700к чтоб просто протестировать а как оно робит чет не очень хочется (В аренду такого железа нет, только с виртуализацией а это никак не подходит под мои задачи, уже пробовал).

По поводу альтернатив то если работаете с эмулями просто попробуйте андроидовский и все сразу станет ясно, почему выбор пал на него .

 

[luk911]

Так поэтому и решил уточнить,

Врядли вы на этом форуме найдете человека, который работал с таким железом. Был тут один пассажир у которого церн в распоряжении, но даже он вам врядле даст дельный совет.

 

[artomka]

Врядли вы на этом форуме найдете человека, который работал с таким железом. Был тут один пассажир у которого церн в распоряжении, но даже он вам врядле даст дельный совет.

Да, я видел.

Там кластер с виртуалками в аренду

 

[Mikhail B.]

Миша акстись, на запросах можно выдавать куда больше, на куда более скромном железе.

К сожалению был печальный опыт. Ты сам поднимал выше 200 потоков. Сравнивал эффективность работы 200 потоков и 300 потоков?

 

[GeGold]

К сожалению был печальный опыт. Ты сам поднимал выше 200 потоков. Сравнивал эффективность работы 200 потоков и 300 потоков?

Ты наверно имеешь ввиду в пределах одного шаблона, но если скопировать один и тот же шаб по разным папкам, то эффективность в разы вырастает, запускал около 800 потоков( 4и папки с одним проектом)

 

[Rus74]

Всё же просто для Zennoposter. Чем больше потоков процессора, тем лучше. Если проекты требуют много потоков, выбираем многопоточный, то есть многоядерный, процессор (от 8 ядер и выше: 10/12/16/20). Если проекты не требуют много потоков, то и процессор ставим соответствующий (4-8 ядер). От процессора отталкиваемся: какая материнская плата, память, жесткий диск/SSD/NVMe, видеокарта и т.д. Хотя памяти лучше запастись, от 16 Гб и выше.

 

[Mikhail B.]

Ты наверно имеешь ввиду в пределах одного шаблона, но если скопировать один и тот же шаб по разным папкам, то эффективность в разы вырастает, запускал около 800 потоков( 4и папки с одним проектом)

Не пробовал так. Буду иметь ввиду.

 

[Saf]

Выражаю огромную благодарность автору поста. Собрал топовую сборку, сейчас приступил к тестам. Пост очень помог, не прочитав про мелочи много бы дров наломал. А тут готовая машинка для "убийств" за 100к( по цене десктопа)

 

[luk911]

К сожалению был печальный опыт. Ты сам поднимал выше 200 потоков. Сравнивал эффективность работы 200 потоков и 300 потоков?

Это по тому что по умолчанию зена сразу запускает браузер. Попробуй новый шаблон сделать и просто поставить паузу в 10 сек. запусти в 100 потоков, увидишь как твой проц начнет загибаться.
После этого в настройках поставь без использования браузера, и запусти тот же шаблон.

 

[Mikhail B.]

Это по тому что по умолчанию зена сразу запускает браузер. Попробуй новый шаблон сделать и просто поставить паузу в 10 сек. запусти в 100 потоков, увидишь как твой проц начнет загибаться.
После этого в настройках поставь без использования браузера, и запусти тот же шаблон.

Прикол в том что ни проц, ни озу не загибаются. Но все равно не тянет выше 200 потоков. Это где то в зенке тормоз.


P.S. визуально тянет но если оценивать эффективность, то выходит что 200 это макс.

 

[luk911]

Прикол в том что ни проц, ни озу не загибаются. Но все равно не тянет выше 200 потоков. Это где то в зенке тормоз.


P.S. визуально тянет но если оценивать эффективность, то выходит что 200 это макс.

сеть скорее всего проседать начинает, таймвейты растут ...

 

[Mikhail B.]

сеть скорее всего проседать начинает, таймвейты растут ...

Нет. Нет желания спорить. Зенка тугая в многопотоке ввше 200, если ты этого не знаешь, то значит еще не сталкивался с подобным. Я просто так слова на ветер не буду кидать.

P.S. Цель была предупредить человека.

 

[Кристина]

БОЛЬШАЯ проблема с Зеннопостером 5.4 - эта программа не работает больше, чем на 200 с небольшим количестве потоков. Гиговый интернет, 56 ядер интел платинум, ddr4 2934, M2 и весь остальной полный "фарш" за 700к - компьютер перестает реагировать на мышь, клавиатуру и вообще что-либо делать после 230 потоков. Для чего разработчики написали в программе - 1000 потоков, сейчас буду выяснять. ПК покупался под программу, на выходе - потоков не сильно больше чем на ПК за 200к. В диспетчере загрузка процессора 60% в тот момент, когда уже ничего не работает. Неприятная ситуация, отпишусь про ответы саппорта мне по этой проблеме.

На скринах программа работает на 100 потоках при интернете 100Мб

 

[luk911]

На скринах программа работает на 100 потоках при интернете 100Мб

А в интернет я так понимаю программа выходит напрямую ? без всяких там прокси ?

56 ядер интел платинум

Это что за чудо такое ?

 

[artomka]

БОЛЬШАЯ проблема с Зеннопостером 5.4 - эта программа не работает больше, чем на 200 с небольшим количестве потоков. Гиговый интернет, 56 ядер интел платинум, ddr4 2934, M2 и весь остальной полный "фарш" за 700к - компьютер перестает реагировать на мышь, клавиатуру и вообще что-либо делать после 230 потоков. Для чего разработчики написали в программе - 1000 потоков, сейчас буду выяснять. ПК покупался под программу, на выходе - потоков не сильно больше чем на ПК за 200к. В диспетчере загрузка процессора 60% в тот момент, когда уже ничего не работает. Неприятная ситуация, отпишусь про ответы саппорта мне по этой проблеме.

На скринах программа работает на 100 потоках при интернете 100Мб

Тут советовали разделить шаб.

Просто скопируйте его 5-6 раз и запустите в зенке.

Получится по 200 потоков на каждую версию.

Это что за чудо такое ?

Это 2 по 28, ппц дорогие.

Но можно взять б/у с ибея за треть цены.



П.С. Я слышал что в винде есть ограничения по колличеству процессов, скорее всего зенка в них и упирается.

Многие ребята гоняющие инсту на паблик софте упираются в лимит 2к акков одновременно работающих из-за этих лимитов винды

 

[Mikhail B.]

Многие ребята гоняющие инсту на паблик софте упираются в лимит 2к акков одновременно работающих из-за этих лимитов винды

2к? Я проводил тесты записи и чтения в БД, тянуло и 1к потоков. Но вот когда большой шаблон 1 мб, и ту же запись тестируешь, уже выше 200 потоков начинает захлебыватся просто все что можно. Тормозит запись в бд, запросы и прочее. Причем смотришь в диспетчер задач, проц не нагружен, озу тоже.

 

[artomka]

2к? Я проводил тесты записи и чтения в БД, тянуло и 1к потоков. Но вот когда большой шаблон 1 мб, и ту же запись тестируешь, уже выше 200 потоков начинает захлебыватся просто все что можно. Тормозит запись в бд, запросы и прочее. Причем смотришь в диспетчер задач, проц не нагружен, озу тоже.

Я про софт от ребят из Перфект Студио.

Хз на чем он написан и как работает многопоток, но лимит там 2к аккаунтов одновременно, на любом железе из-за виндвоских приколов.

Думаю если заранее планировать херачить в таких объемах то нужно капать в сторону ограничений винды ( возможно async с воркерами решает эту проблему, по идее там можно нахерачить скок угодно воркеров в 1 процесс и жарить как папка, но опять же не знаю на 100%).

 

[Mikhail B.]

Я про софт от ребят из Перфект Студио.

Хз на чем он написан и как работает многопоток, но лимит там 2к аккаунтов одновременно, на любом железе из-за виндвоских приколов.

Думаю если заранее планировать херачить в таких объемах то нужно капать в сторону ограничений винды ( возможно async с воркерами решает эту проблему, по идее там можно нахерачить скок угодно воркеров в 1 процесс и жарить как папка, но опять же не знаю на 100%).

В общем не все так просто как кажется на первый взгляд. Есть куча подводных камней при работе на крупных объемах. Понятно, что вести 5 серваков в разы сложнее чем один мощный. Я как то ставил ось на 20 серваков подряд, адовая задача))

 

[artomka]

В общем не все так просто как кажется на первый взгляд. Есть куча подводных камней при работе на крупных объемах. Понятно, что вести 5 серваков в разы сложнее чем один мощный. Я как то ставил ось на 20 серваков подряд, адовая задача))

Раскидывать проекты по сервакам это отарвтное решение.

Мощности становятся только дешевле с каждым днем, поэтому считаю что нужно копать в сторону оптимизации/обхода ограничений.

Сюда бы разраба затащить чтоб объяснил во что может упираться зенно при 200 потоках+ .

Да и вообще, ребятам из зеннолаба добавить бы отдельный пакет тех поддержки баксов за 100-150 в месяц, чтоб напрямую можно было в чате с разрабами/саппортом с мозгами обсуджать нюансы или искать решения сложных проблем с софтом.

 

[Mikhail B.]

Сюда бы разраба затащить чтоб объяснил во что может упираться зенно при 200 потоках+ .

Там не все так просто, я пробовал решить через поддержку этот вопрос. Безуспешно. Но стоит сказать, что там проект очень большой и наверно не захотели в нем копатся.

 

[Кристина]

Тут советовали разделить шаб.

Просто скопируйте его 5-6 раз и запустите в зенке.

Получится по 200 потоков на каждую версию.

Ничего не получится. Перепробованы были все возможные варианты. Как множество проектов по 30 - 50 потоков, так и переустановка Зеннопостера с диска С, куда программа устанавливается по дефолту, на другой диск, чтобы не мешать работать Винде. Проекты создавались на разных дисках (все диски серверные ссд), думали что проблема может быть в чтении информации с диска при большом количестве потоков. Никакой вариант не подошел

На другом сервере 40 ядерном - Зеннопостер не работает более чем на 165 потоках. До покупки топового 56 ядерного сервера думали, что проблема в не топовых характеристиках 40 ядерного сервера - ddr3, hdd. На скриншотах работа старого 40 ядерного сервера на 165 потоках

Деловская рабочая станция на 18 ядерном процессоре, m2 и ddr4 выдает 110 потоков, когда можно спокойно без задержек копироваться и открывать файлы

 

[artomka]

Ничего не получится. Перепробованы были все возможные варианты. Как множество проектов по 30 - 50 потоков, так и переустановка Зеннопостера с диска С, куда программа устанавливается по дефолту, на другой диск, чтобы не мешать работать Винде. Проекты создавались на разных дисках (все диски серверные ссд), думали что проблема может быть в чтении информации с диска при большом количестве потоков. Никакой вариант не подошел

На другом сервере 40 ядерном - Зеннопостер не работает более чем на 165 потоках. До покупки топового 56 ядерного сервера думали, что проблема в не топовых характеристиках 40 ядерного сервера - ddr3, hdd. На скриншотах работа старого 40 ядерного сервера на 165 потоках

Деловская рабочая станция на 18 ядерном процессоре, m2 и ddr4 выдает 110 потоков, когда можно спокойно без задержек копироваться и открывать файлы

Cтоп, это браузерные потоки чтоль?

 

[Mikhail B.]

Ничего не получится. Перепробованы были все возможные варианты. Как множество проектов по 30 - 50 потоков, так и переустановка Зеннопостера с диска С, куда программа устанавливается по дефолту, на другой диск, чтобы не мешать работать Винде. Проекты создавались на разных дисках (все диски серверные ссд), думали что проблема может быть в чтении информации с диска при большом количестве потоков. Никакой вариант не подошел

На другом сервере 40 ядерном - Зеннопостер не работает более чем на 165 потоках. До покупки топового 56 ядерного сервера думали, что проблема в не топовых характеристиках 40 ядерного сервера - ddr3, hdd. На скриншотах работа старого 40 ядерного сервера на 165 потоках

Деловская рабочая станция на 18 ядерном процессоре, m2 и ddr4 выдает 110 потоков, когда можно спокойно без задержек копироваться и открывать файлы

Пробуйте писать в поддержку.