Все через зенно
Я ведь написал видосы через ffmpeg, эмули от андроид студио.
Зенка управляет логий и тем что дальше делать с готовым контентом.
XEON 2011. Cобираем убойный сервер под зенопостер.
- Автор темы BblTPE3BUTEJlb
- Дата начала
Я ведь написал видосы через ffmpeg, эмули от андроид студио.
Зенка управляет логий и тем что дальше делать с готовым контентом.
Сдаюсь - терабайт видео через зену, я не знаю что там можно делать. Трасляцию вести, так это и целерон голимый справится. Вообщем какой вопрос таков, ответ - бери и не парься 
Ну с трансляциями может и справиться а вот с генерацией контента нет.Сдаюсь - терабайт видео через зену, я не знаю что там можно делать. Трасляцию вести, так это и целерон голимый справится. Вообщем какой вопрос таков, ответ - бери и не парься
Из железа сейчас i7-8700,64gb ram,1050ti.
Загрузка цпу 100% при 4 эмулях. Гпу 100% при 2х потоках обработки видео.
Память 40гб свободно, но это потому что мало эмулей.
зена и генерация видео на терабайт ? может я чего не знаю конечно... Короче, есть подробное описание задачи с нюансами - есть варианты. Лень описывать, ну тогда совет один - бериииии, надо брать. не парься. Однозначно окупится !
Мне кажется к проблеме надо подойти с другой стороны, нет смысла искать счастья в железе, а вот подход как это делать и через что - можно пересмотреть. К сожалению тут я больше ничем помочь не смогу.
Я не очень понимаю почему вас смущает колличество видео обработки через зенку.
Ffmpeg отлично работает вместе с ней, зенка не ресурсозатранта и легко настраивается планировка + сообщение с другими шаблонами.
Тоже самое с управлением эмулями, парочка либ и сиди себе соединяй кубики ( правда спшлоной C#) что нереально ускоряет разработку и построение логики.
+ теже репорты шлются вебхуками в любой мессенджер 1 кубиком, ну или в любую админ панель умеющюю обрабатывать данные из вне.
На сколько я понял, у вас два узких места - первое - обработка видео через ffmpeg - первое предположение, возможно это не лучший способ обработки видео и возможно, можно найти альтернативный способ, чтоб сократить затраты на создание этого видео.
Вторая проблема - это то что вы пытаетесь использовать весьма ресурсоёмкий дроид эмуль (как вы его называете), возможно есть альтернативы для решения вашей задачи в нем.
Но в целом, опять же, если есть настроенная технология, есть деньги, и не хватает только железа, так это самое простое - масштабироваться по горизонтали так сказать
бери и не парься.На сколько я понял, у вас два узких места - первое - обработка видео через ffmpeg - первое предположение, возможно это не лучший способ обработки видео и возможно, можно найти альтернативный способ, чтоб сократить затраты на создание этого видео.
Вторая проблема - это то что вы пытаетесь использовать весьма ресурсоёмкий дроид эмуль (как вы его называете), возможно есть альтернативы для решения вашей задачи в нем.
Но в целом, опять же, если есть настроенная технология, есть деньги, и не хватает только железа, так это самое простое - масштабироваться по горизонтали так сказать
Так поэтому и решил уточнить, возможно кто-то уже работал с подобным железом и как на нем обстоят дела с эмуляцией.
Сам я из того что вычитал, понял только то что HAXM нет и все работает но хуже.
А вот насколько хуже хз... И тратить 700к чтоб просто протестировать а как оно робит чет не очень хочется (В аренду такого железа нет, только с виртуализацией а это никак не подходит под мои задачи, уже пробовал).
По поводу альтернатив то если работаете с эмулями просто попробуйте андроидовский и все сразу станет ясно, почему выбор пал на него
.Врядли вы на этом форуме найдете человека, который работал с таким железом. Был тут один пассажир у которого церн в распоряжении, но даже он вам врядле даст дельный совет.
Mikhail B.
Client
- Регистрация
- 23.12.2014
- Сообщения
- 14 449
- Реакции
- 5 477
- Баллы
- 113
К сожалению был печальный опыт. Ты сам поднимал выше 200 потоков. Сравнивал эффективность работы 200 потоков и 300 потоков?
GeGold
Client
- Регистрация
- 28.09.2015
- Сообщения
- 852
- Реакции
- 385
- Баллы
- 63
Ты наверно имеешь ввиду в пределах одного шаблона, но если скопировать один и тот же шаб по разным папкам, то эффективность в разы вырастает, запускал около 800 потоков( 4и папки с одним проектом)
Rus74
Client
- Регистрация
- 09.01.2019
- Сообщения
- 113
- Реакции
- 43
- Баллы
- 28
Всё же просто для Zennoposter. Чем больше потоков процессора, тем лучше. Если проекты требуют много потоков, выбираем многопоточный, то есть многоядерный, процессор (от 8 ядер и выше: 10/12/16/20). Если проекты не требуют много потоков, то и процессор ставим соответствующий (4-8 ядер). От процессора отталкиваемся: какая материнская плата, память, жесткий диск/SSD/NVMe, видеокарта и т.д. Хотя памяти лучше запастись, от 16 Гб и выше.
Mikhail B.
Client
- Регистрация
- 23.12.2014
- Сообщения
- 14 449
- Реакции
- 5 477
- Баллы
- 113
Saf
Client
- Регистрация
- 24.05.2015
- Сообщения
- 79
- Реакции
- 56
- Баллы
- 18
Выражаю огромную благодарность автору поста. Собрал топовую сборку, сейчас приступил к тестам. Пост очень помог, не прочитав про мелочи много бы дров наломал. А тут готовая машинка для "убийств" за 100к( по цене десктопа)
Это по тому что по умолчанию зена сразу запускает браузер. Попробуй новый шаблон сделать и просто поставить паузу в 10 сек. запусти в 100 потоков, увидишь как твой проц начнет загибаться.
После этого в настройках поставь без использования браузера, и запусти тот же шаблон.
Mikhail B.
Client
- Регистрация
- 23.12.2014
- Сообщения
- 14 449
- Реакции
- 5 477
- Баллы
- 113
Прикол в том что ни проц, ни озу не загибаются. Но все равно не тянет выше 200 потоков. Это где то в зенке тормоз.
P.S. визуально тянет но если оценивать эффективность, то выходит что 200 это макс.
Mikhail B.
Client
- Регистрация
- 23.12.2014
- Сообщения
- 14 449
- Реакции
- 5 477
- Баллы
- 113
Нет. Нет желания спорить. Зенка тугая в многопотоке ввше 200, если ты этого не знаешь, то значит еще не сталкивался с подобным. Я просто так слова на ветер не буду кидать.
P.S. Цель была предупредить человека.
Кристина
Client
- Регистрация
- 24.10.2019
- Сообщения
- 53
- Реакции
- 20
- Баллы
- 8
БОЛЬШАЯ проблема с Зеннопостером 5.4 - эта программа не работает больше, чем на 200 с небольшим количестве потоков. Гиговый интернет, 56 ядер интел платинум, ddr4 2934, M2 и весь остальной полный "фарш" за 700к - компьютер перестает реагировать на мышь, клавиатуру и вообще что-либо делать после 230 потоков. Для чего разработчики написали в программе - 1000 потоков, сейчас буду выяснять. ПК покупался под программу, на выходе - потоков не сильно больше чем на ПК за 200к. В диспетчере загрузка процессора 60% в тот момент, когда уже ничего не работает. Неприятная ситуация, отпишусь про ответы саппорта мне по этой проблеме.
На скринах программа работает на 100 потоках при интернете 100Мб
На скринах программа работает на 100 потоках при интернете 100Мб
Вложения
А в интернет я так понимаю программа выходит напрямую ? без всяких там прокси ?
Это что за чудо такое ?
Последнее редактирование:
Тут советовали разделить шаб.
Просто скопируйте его 5-6 раз и запустите в зенке.
Получится по 200 потоков на каждую версию.
Это 2 по 28, ппц дорогие.
Но можно взять б/у с ибея за треть цены.
П.С. Я слышал что в винде есть ограничения по колличеству процессов, скорее всего зенка в них и упирается.
Многие ребята гоняющие инсту на паблик софте упираются в лимит 2к акков одновременно работающих из-за этих лимитов винды
Mikhail B.
Client
- Регистрация
- 23.12.2014
- Сообщения
- 14 449
- Реакции
- 5 477
- Баллы
- 113
2к? Я проводил тесты записи и чтения в БД, тянуло и 1к потоков. Но вот когда большой шаблон 1 мб, и ту же запись тестируешь, уже выше 200 потоков начинает захлебыватся просто все что можно. Тормозит запись в бд, запросы и прочее. Причем смотришь в диспетчер задач, проц не нагружен, озу тоже.Многие ребята гоняющие инсту на паблик софте упираются в лимит 2к акков одновременно работающих из-за этих лимитов винды
Я про софт от ребят из Перфект Студио.
Хз на чем он написан и как работает многопоток, но лимит там 2к аккаунтов одновременно, на любом железе из-за виндвоских приколов.
Думаю если заранее планировать херачить в таких объемах то нужно капать в сторону ограничений винды ( возможно async с воркерами решает эту проблему, по идее там можно нахерачить скок угодно воркеров в 1 процесс и жарить как папка, но опять же не знаю на 100%).
Mikhail B.
Client
- Регистрация
- 23.12.2014
- Сообщения
- 14 449
- Реакции
- 5 477
- Баллы
- 113
В общем не все так просто как кажется на первый взгляд. Есть куча подводных камней при работе на крупных объемах. Понятно, что вести 5 серваков в разы сложнее чем один мощный. Я как то ставил ось на 20 серваков подряд, адовая задача))
Раскидывать проекты по сервакам это отарвтное решение.
Мощности становятся только дешевле с каждым днем, поэтому считаю что нужно копать в сторону оптимизации/обхода ограничений.
Сюда бы разраба затащить чтоб объяснил во что может упираться зенно при 200 потоках+ .
Да и вообще, ребятам из зеннолаба добавить бы отдельный пакет тех поддержки баксов за 100-150 в месяц, чтоб напрямую можно было в чате с разрабами/саппортом с мозгами обсуджать нюансы или искать решения сложных проблем с софтом.
Mikhail B.
Client
- Регистрация
- 23.12.2014
- Сообщения
- 14 449
- Реакции
- 5 477
- Баллы
- 113
Там не все так просто, я пробовал решить через поддержку этот вопрос. Безуспешно. Но стоит сказать, что там проект очень большой и наверно не захотели в нем копатся.
Кристина
Client
- Регистрация
- 24.10.2019
- Сообщения
- 53
- Реакции
- 20
- Баллы
- 8
Ничего не получится. Перепробованы были все возможные варианты. Как множество проектов по 30 - 50 потоков, так и переустановка Зеннопостера с диска С, куда программа устанавливается по дефолту, на другой диск, чтобы не мешать работать Винде. Проекты создавались на разных дисках (все диски серверные ссд), думали что проблема может быть в чтении информации с диска при большом количестве потоков. Никакой вариант не подошел
На другом сервере 40 ядерном - Зеннопостер не работает более чем на 165 потоках. До покупки топового 56 ядерного сервера думали, что проблема в не топовых характеристиках 40 ядерного сервера - ddr3, hdd. На скриншотах работа старого 40 ядерного сервера на 165 потоках
Деловская рабочая станция на 18 ядерном процессоре, m2 и ddr4 выдает 110 потоков, когда можно спокойно без задержек копироваться и открывать файлы
Вложения
Mikhail B.
Client
- Регистрация
- 23.12.2014
- Сообщения
- 14 449
- Реакции
- 5 477
- Баллы
- 113