XEON 2011. Cобираем убойный сервер под зенопостер.

artomka

Client
Регистрация
23.08.2018
Сообщения
159
Благодарностей
93
Баллы
28
не очень конкретно - видео ты через зено гонять собрался ? или тебе нужен видео редактор типо примьера или файнел кат ?
Адроид студио это видимо тоже не для зены ? ты разработчик ?
Все через зенно :D

Я ведь написал видосы через ffmpeg, эмули от андроид студио.

Зенка управляет логий и тем что дальше делать с готовым контентом.
 

luk911

Client
Регистрация
17.01.2013
Сообщения
1 542
Благодарностей
579
Баллы
113
Сдаюсь - терабайт видео через зену, я не знаю что там можно делать. Трасляцию вести, так это и целерон голимый справится. Вообщем какой вопрос таков, ответ - бери и не парься :-)
 

artomka

Client
Регистрация
23.08.2018
Сообщения
159
Благодарностей
93
Баллы
28
Сдаюсь - терабайт видео через зену, я не знаю что там можно делать. Трасляцию вести, так это и целерон голимый справится. Вообщем какой вопрос таков, ответ - бери и не парься :-)
Ну с трансляциями может и справиться а вот с генерацией контента нет.

Из железа сейчас i7-8700,64gb ram,1050ti.

Загрузка цпу 100% при 4 эмулях. Гпу 100% при 2х потоках обработки видео.

Память 40гб свободно, но это потому что мало эмулей.
 

luk911

Client
Регистрация
17.01.2013
Сообщения
1 542
Благодарностей
579
Баллы
113
Ну с трансляциями может и справиться а вот с генерацией контента нет.
зена и генерация видео на терабайт ? может я чего не знаю конечно... Короче, есть подробное описание задачи с нюансами - есть варианты. Лень описывать, ну тогда совет один - бериииии, надо брать. не парься. Однозначно окупится !
 
  • Спасибо
Реакции: artomka

luk911

Client
Регистрация
17.01.2013
Сообщения
1 542
Благодарностей
579
Баллы
113
Мне кажется к проблеме надо подойти с другой стороны, нет смысла искать счастья в железе, а вот подход как это делать и через что - можно пересмотреть. К сожалению тут я больше ничем помочь не смогу.
 

artomka

Client
Регистрация
23.08.2018
Сообщения
159
Благодарностей
93
Баллы
28
Мне кажется к проблеме надо подойти с другой стороны, нет смысла искать счастья в железе, а вот подход как это делать и через что - можно пересмотреть. К сожалению тут я больше ничем помочь не смогу.
Я не очень понимаю почему вас смущает колличество видео обработки через зенку.

Ffmpeg отлично работает вместе с ней, зенка не ресурсозатранта и легко настраивается планировка + сообщение с другими шаблонами.

Тоже самое с управлением эмулями, парочка либ и сиди себе соединяй кубики ( правда спшлоной C#) что нереально ускоряет разработку и построение логики.

+ теже репорты шлются вебхуками в любой мессенджер 1 кубиком, ну или в любую админ панель умеющюю обрабатывать данные из вне.
 

luk911

Client
Регистрация
17.01.2013
Сообщения
1 542
Благодарностей
579
Баллы
113
Я не очень понимаю почему вас смущает количество видео обработки через зенку.
На сколько я понял, у вас два узких места - первое - обработка видео через ffmpeg - первое предположение, возможно это не лучший способ обработки видео и возможно, можно найти альтернативный способ, чтоб сократить затраты на создание этого видео.
Вторая проблема - это то что вы пытаетесь использовать весьма ресурсоёмкий дроид эмуль (как вы его называете), возможно есть альтернативы для решения вашей задачи в нем.
Но в целом, опять же, если есть настроенная технология, есть деньги, и не хватает только железа, так это самое простое - масштабироваться по горизонтали так сказать :-) бери и не парься.
 

artomka

Client
Регистрация
23.08.2018
Сообщения
159
Благодарностей
93
Баллы
28
На сколько я понял, у вас два узких места - первое - обработка видео через ffmpeg - первое предположение, возможно это не лучший способ обработки видео и возможно, можно найти альтернативный способ, чтоб сократить затраты на создание этого видео.
Вторая проблема - это то что вы пытаетесь использовать весьма ресурсоёмкий дроид эмуль (как вы его называете), возможно есть альтернативы для решения вашей задачи в нем.
Но в целом, опять же, если есть настроенная технология, есть деньги, и не хватает только железа, так это самое простое - масштабироваться по горизонтали так сказать :-) бери и не парься.
Так поэтому и решил уточнить, возможно кто-то уже работал с подобным железом и как на нем обстоят дела с эмуляцией.

Сам я из того что вычитал, понял только то что HAXM нет и все работает но хуже.

А вот насколько хуже хз... И тратить 700к чтоб просто протестировать а как оно робит чет не очень хочется (В аренду такого железа нет, только с виртуализацией а это никак не подходит под мои задачи, уже пробовал).

По поводу альтернатив то если работаете с эмулями просто попробуйте андроидовский и все сразу станет ясно, почему выбор пал на него :D .
 

luk911

Client
Регистрация
17.01.2013
Сообщения
1 542
Благодарностей
579
Баллы
113
Так поэтому и решил уточнить,
Врядли вы на этом форуме найдете человека, который работал с таким железом. Был тут один пассажир у которого церн в распоряжении, но даже он вам врядле даст дельный совет.
 

artomka

Client
Регистрация
23.08.2018
Сообщения
159
Благодарностей
93
Баллы
28
Врядли вы на этом форуме найдете человека, который работал с таким железом. Был тут один пассажир у которого церн в распоряжении, но даже он вам врядле даст дельный совет.
Да, я видел.

Там кластер с виртуалками в аренду :D
 

Mikhail B.

Client
Регистрация
23.12.2014
Сообщения
14 410
Благодарностей
5 454
Баллы
113
Миша акстись, на запросах можно выдавать куда больше, на куда более скромном железе.
К сожалению был печальный опыт. Ты сам поднимал выше 200 потоков. Сравнивал эффективность работы 200 потоков и 300 потоков?
 

GeGold

Client
Регистрация
28.09.2015
Сообщения
778
Благодарностей
370
Баллы
63
К сожалению был печальный опыт. Ты сам поднимал выше 200 потоков. Сравнивал эффективность работы 200 потоков и 300 потоков?
Ты наверно имеешь ввиду в пределах одного шаблона, но если скопировать один и тот же шаб по разным папкам, то эффективность в разы вырастает, запускал около 800 потоков( 4и папки с одним проектом)
 
  • Спасибо
Реакции: Mikhail B.

Rus74

Client
Регистрация
09.01.2019
Сообщения
112
Благодарностей
43
Баллы
28
Всё же просто для Zennoposter. Чем больше потоков процессора, тем лучше. Если проекты требуют много потоков, выбираем многопоточный, то есть многоядерный, процессор (от 8 ядер и выше: 10/12/16/20). Если проекты не требуют много потоков, то и процессор ставим соответствующий (4-8 ядер). От процессора отталкиваемся: какая материнская плата, память, жесткий диск/SSD/NVMe, видеокарта и т.д. Хотя памяти лучше запастись, от 16 Гб и выше.
 

Mikhail B.

Client
Регистрация
23.12.2014
Сообщения
14 410
Благодарностей
5 454
Баллы
113
Ты наверно имеешь ввиду в пределах одного шаблона, но если скопировать один и тот же шаб по разным папкам, то эффективность в разы вырастает, запускал около 800 потоков( 4и папки с одним проектом)
Не пробовал так. Буду иметь ввиду.
 

Saf

Client
Регистрация
24.05.2015
Сообщения
69
Благодарностей
53
Баллы
18
Выражаю огромную благодарность автору поста. Собрал топовую сборку, сейчас приступил к тестам. Пост очень помог, не прочитав про мелочи много бы дров наломал. А тут готовая машинка для "убийств" за 100к( по цене десктопа)
 
  • Спасибо
Реакции: Mikhail B.

luk911

Client
Регистрация
17.01.2013
Сообщения
1 542
Благодарностей
579
Баллы
113
К сожалению был печальный опыт. Ты сам поднимал выше 200 потоков. Сравнивал эффективность работы 200 потоков и 300 потоков?
Это по тому что по умолчанию зена сразу запускает браузер. Попробуй новый шаблон сделать и просто поставить паузу в 10 сек. запусти в 100 потоков, увидишь как твой проц начнет загибаться.
После этого в настройках поставь без использования браузера, и запусти тот же шаблон.
 

Mikhail B.

Client
Регистрация
23.12.2014
Сообщения
14 410
Благодарностей
5 454
Баллы
113
Это по тому что по умолчанию зена сразу запускает браузер. Попробуй новый шаблон сделать и просто поставить паузу в 10 сек. запусти в 100 потоков, увидишь как твой проц начнет загибаться.
После этого в настройках поставь без использования браузера, и запусти тот же шаблон.
Прикол в том что ни проц, ни озу не загибаются. Но все равно не тянет выше 200 потоков. Это где то в зенке тормоз.


P.S. визуально тянет но если оценивать эффективность, то выходит что 200 это макс.
 
  • Спасибо
Реакции: Кристина

luk911

Client
Регистрация
17.01.2013
Сообщения
1 542
Благодарностей
579
Баллы
113
Прикол в том что ни проц, ни озу не загибаются. Но все равно не тянет выше 200 потоков. Это где то в зенке тормоз.


P.S. визуально тянет но если оценивать эффективность, то выходит что 200 это макс.
сеть скорее всего проседать начинает, таймвейты растут ...
 

Mikhail B.

Client
Регистрация
23.12.2014
Сообщения
14 410
Благодарностей
5 454
Баллы
113
сеть скорее всего проседать начинает, таймвейты растут ...
Нет. Нет желания спорить. Зенка тугая в многопотоке ввше 200, если ты этого не знаешь, то значит еще не сталкивался с подобным. Я просто так слова на ветер не буду кидать.

P.S. Цель была предупредить человека.
 
Регистрация
24.10.2019
Сообщения
53
Благодарностей
20
Баллы
8
БОЛЬШАЯ проблема с Зеннопостером 5.4 - эта программа не работает больше, чем на 200 с небольшим количестве потоков. Гиговый интернет, 56 ядер интел платинум, ddr4 2934, M2 и весь остальной полный "фарш" за 700к - компьютер перестает реагировать на мышь, клавиатуру и вообще что-либо делать после 230 потоков. Для чего разработчики написали в программе - 1000 потоков, сейчас буду выяснять. ПК покупался под программу, на выходе - потоков не сильно больше чем на ПК за 200к. В диспетчере загрузка процессора 60% в тот момент, когда уже ничего не работает. Неприятная ситуация, отпишусь про ответы саппорта мне по этой проблеме.

На скринах программа работает на 100 потоках при интернете 100Мб
 

Вложения

luk911

Client
Регистрация
17.01.2013
Сообщения
1 542
Благодарностей
579
Баллы
113
На скринах программа работает на 100 потоках при интернете 100Мб
А в интернет я так понимаю программа выходит напрямую ? без всяких там прокси ?

56 ядер интел платинум
Это что за чудо такое ?
 
Последнее редактирование:

artomka

Client
Регистрация
23.08.2018
Сообщения
159
Благодарностей
93
Баллы
28
БОЛЬШАЯ проблема с Зеннопостером 5.4 - эта программа не работает больше, чем на 200 с небольшим количестве потоков. Гиговый интернет, 56 ядер интел платинум, ddr4 2934, M2 и весь остальной полный "фарш" за 700к - компьютер перестает реагировать на мышь, клавиатуру и вообще что-либо делать после 230 потоков. Для чего разработчики написали в программе - 1000 потоков, сейчас буду выяснять. ПК покупался под программу, на выходе - потоков не сильно больше чем на ПК за 200к. В диспетчере загрузка процессора 60% в тот момент, когда уже ничего не работает. Неприятная ситуация, отпишусь про ответы саппорта мне по этой проблеме.

На скринах программа работает на 100 потоках при интернете 100Мб
Тут советовали разделить шаб.

Просто скопируйте его 5-6 раз и запустите в зенке.

Получится по 200 потоков на каждую версию.

Это что за чудо такое ?
Это 2 по 28, ппц дорогие.

Но можно взять б/у с ибея за треть цены.



П.С. Я слышал что в винде есть ограничения по колличеству процессов, скорее всего зенка в них и упирается.

Многие ребята гоняющие инсту на паблик софте упираются в лимит 2к акков одновременно работающих из-за этих лимитов винды :(
 

Mikhail B.

Client
Регистрация
23.12.2014
Сообщения
14 410
Благодарностей
5 454
Баллы
113
Многие ребята гоняющие инсту на паблик софте упираются в лимит 2к акков одновременно работающих из-за этих лимитов винды :(
2к? Я проводил тесты записи и чтения в БД, тянуло и 1к потоков. Но вот когда большой шаблон 1 мб, и ту же запись тестируешь, уже выше 200 потоков начинает захлебыватся просто все что можно. Тормозит запись в бд, запросы и прочее. Причем смотришь в диспетчер задач, проц не нагружен, озу тоже.
 

artomka

Client
Регистрация
23.08.2018
Сообщения
159
Благодарностей
93
Баллы
28
2к? Я проводил тесты записи и чтения в БД, тянуло и 1к потоков. Но вот когда большой шаблон 1 мб, и ту же запись тестируешь, уже выше 200 потоков начинает захлебыватся просто все что можно. Тормозит запись в бд, запросы и прочее. Причем смотришь в диспетчер задач, проц не нагружен, озу тоже.
Я про софт от ребят из Перфект Студио.

Хз на чем он написан и как работает многопоток, но лимит там 2к аккаунтов одновременно, на любом железе из-за виндвоских приколов.

Думаю если заранее планировать херачить в таких объемах то нужно капать в сторону ограничений винды ( возможно async с воркерами решает эту проблему, по идее там можно нахерачить скок угодно воркеров в 1 процесс и жарить как папка, но опять же не знаю на 100%).
 
  • Спасибо
Реакции: Mikhail B.

Mikhail B.

Client
Регистрация
23.12.2014
Сообщения
14 410
Благодарностей
5 454
Баллы
113
Я про софт от ребят из Перфект Студио.

Хз на чем он написан и как работает многопоток, но лимит там 2к аккаунтов одновременно, на любом железе из-за виндвоских приколов.

Думаю если заранее планировать херачить в таких объемах то нужно капать в сторону ограничений винды ( возможно async с воркерами решает эту проблему, по идее там можно нахерачить скок угодно воркеров в 1 процесс и жарить как папка, но опять же не знаю на 100%).
В общем не все так просто как кажется на первый взгляд. Есть куча подводных камней при работе на крупных объемах. Понятно, что вести 5 серваков в разы сложнее чем один мощный. Я как то ставил ось на 20 серваков подряд, адовая задача))
 

artomka

Client
Регистрация
23.08.2018
Сообщения
159
Благодарностей
93
Баллы
28
В общем не все так просто как кажется на первый взгляд. Есть куча подводных камней при работе на крупных объемах. Понятно, что вести 5 серваков в разы сложнее чем один мощный. Я как то ставил ось на 20 серваков подряд, адовая задача))
Раскидывать проекты по сервакам это отарвтное решение.

Мощности становятся только дешевле с каждым днем, поэтому считаю что нужно копать в сторону оптимизации/обхода ограничений.

Сюда бы разраба затащить чтоб объяснил во что может упираться зенно при 200 потоках+ .

Да и вообще, ребятам из зеннолаба добавить бы отдельный пакет тех поддержки баксов за 100-150 в месяц, чтоб напрямую можно было в чате с разрабами/саппортом с мозгами обсуджать нюансы или искать решения сложных проблем с софтом.
 

Mikhail B.

Client
Регистрация
23.12.2014
Сообщения
14 410
Благодарностей
5 454
Баллы
113
Сюда бы разраба затащить чтоб объяснил во что может упираться зенно при 200 потоках+ .
Там не все так просто, я пробовал решить через поддержку этот вопрос. Безуспешно. Но стоит сказать, что там проект очень большой и наверно не захотели в нем копатся.
 
Регистрация
24.10.2019
Сообщения
53
Благодарностей
20
Баллы
8
Тут советовали разделить шаб.

Просто скопируйте его 5-6 раз и запустите в зенке.

Получится по 200 потоков на каждую версию.
Ничего не получится. Перепробованы были все возможные варианты. Как множество проектов по 30 - 50 потоков, так и переустановка Зеннопостера с диска С, куда программа устанавливается по дефолту, на другой диск, чтобы не мешать работать Винде. Проекты создавались на разных дисках (все диски серверные ссд), думали что проблема может быть в чтении информации с диска при большом количестве потоков. Никакой вариант не подошел

На другом сервере 40 ядерном - Зеннопостер не работает более чем на 165 потоках. До покупки топового 56 ядерного сервера думали, что проблема в не топовых характеристиках 40 ядерного сервера - ddr3, hdd. На скриншотах работа старого 40 ядерного сервера на 165 потоках

Деловская рабочая станция на 18 ядерном процессоре, m2 и ddr4 выдает 110 потоков, когда можно спокойно без задержек копироваться и открывать файлы
 

Вложения

artomka

Client
Регистрация
23.08.2018
Сообщения
159
Благодарностей
93
Баллы
28
Ничего не получится. Перепробованы были все возможные варианты. Как множество проектов по 30 - 50 потоков, так и переустановка Зеннопостера с диска С, куда программа устанавливается по дефолту, на другой диск, чтобы не мешать работать Винде. Проекты создавались на разных дисках (все диски серверные ссд), думали что проблема может быть в чтении информации с диска при большом количестве потоков. Никакой вариант не подошел

На другом сервере 40 ядерном - Зеннопостер не работает более чем на 165 потоках. До покупки топового 56 ядерного сервера думали, что проблема в не топовых характеристиках 40 ядерного сервера - ddr3, hdd. На скриншотах работа старого 40 ядерного сервера на 165 потоках

Деловская рабочая станция на 18 ядерном процессоре, m2 и ddr4 выдает 110 потоков, когда можно спокойно без задержек копироваться и открывать файлы
Cтоп, это браузерные потоки чтоль?
 
  • Спасибо
Реакции: Кристина

Mikhail B.

Client
Регистрация
23.12.2014
Сообщения
14 410
Благодарностей
5 454
Баллы
113
Ничего не получится. Перепробованы были все возможные варианты. Как множество проектов по 30 - 50 потоков, так и переустановка Зеннопостера с диска С, куда программа устанавливается по дефолту, на другой диск, чтобы не мешать работать Винде. Проекты создавались на разных дисках (все диски серверные ссд), думали что проблема может быть в чтении информации с диска при большом количестве потоков. Никакой вариант не подошел

На другом сервере 40 ядерном - Зеннопостер не работает более чем на 165 потоках. До покупки топового 56 ядерного сервера думали, что проблема в не топовых характеристиках 40 ядерного сервера - ddr3, hdd. На скриншотах работа старого 40 ядерного сервера на 165 потоках

Деловская рабочая станция на 18 ядерном процессоре, m2 и ddr4 выдает 110 потоков, когда можно спокойно без задержек копироваться и открывать файлы
Пробуйте писать в поддержку.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)