Две ОС (Windows+Ubuntu) на одном сервере - что лучше для ZP: VirtualBox / KVM / XEN / vSphere ESXi?

[Lord_Alfred]

Назрел вопрос, который не могу самостоятельно разрешить, а гугл выдает различные типовые варианты установки без сравнения их всех вместе.

Задача следующая: есть сервак с физическим доступом, сейчас там стоит Windows Server 2012R2 (с зенкой), и т.к. я купил GPU (видюху), а она мне нужна для работы в Ubuntu, причем нужно чтобы одновременно были запущены, и Ubuntu (с GPU), и Windows (с зенкой собственно, без GPU). Создать виртуальную машину с Ubuntu из Windows не могу, т.к. туда нельзя будет "прокинуть" GPU. Поэтому ищу варианты как наиболее производительнее для работы зенки из под Windows установить её в качестве виртуалки из Ubuntu.

Знаю, что можно просто в Ubuntu установить VirtualBox и там создать виртуальную машину с Windows - это самый простой вариант, но я почему-то не уверен в итоговой производительности Windows в таком случае, т.к. вообще Ubuntu рекомендует использовать KVM. Но тоже никаких гарантий, что он будет более производительным/без багов (для зенки в первую очередь).

Читал про XEN / vSphere ESXi - на сколько я понял, это вариант, когда ставится гипервизор из которого уже запускаются другие ОС (в моем случае запускались бы Ubuntu и Windows, но не из друг друга). Тут есть очень большие сомнения, что опять же нельзя будет использовать GPU в Ubuntu, точной инфы про это я не нашел + очень смущает то, что такой вариант возможно будет значительно сложнее в настройке (может и нет, развейте эту мысль, если я не прав).

Поэтому и родился собственно этот вопрос: какой вариант будет наиболее производительным для работы зенки из винды, если её запускать как виртуальную машину из Ubuntu или как гипервизор (но чтоб рядом была возможность запустить и Ubuntu с GPU).

Знаю, что многие покупают VPS / VDS / Dedicated server с Linux (Ubuntu, например), где ставят виртуальную машину с Windows. Пара вопросов к вам: Что используете для установки виртуалки? Какие есть плюсы и минусы в таком случае? Как с производительностью вообще?

PS: ссылки на мануалы (которые вы использовали) по настройке / установке винды из виртуалки / гипервизора (проброс RDP и всякого такого полезного для нас, зенно-юзеров) - будут одарены божественным лайком от меня))

 

[takerz]

Тоже хотел таким помаятся, но разум воссторжествовал, и в итоге купил windows отдельно)

 

[Lord_Alfred]

Тоже хотел таким помаятся, но разум воссторжествовал, и в итоге купил windows)

Тут речь вообще о другом, думаю вы не читали вопрос)

 

[takerz]

Тут речь вообще о другом, думаю вы не читали вопрос)

а мне кажется я вас понял. Вы хотите сэкономить на ресурсах и иметь все на одной машине. Разве не так?

 

[one]

Виртуалки сильно проигрывают железу для работы постера. Я перетестировал в свое время массу вариантов. Если тебе ли ж бы было, то рекомендую на KVM виртуализации остановиться. Ну а если производительность важна то хез. Тут достойных вариантов навряд ли будет.

А VMware не рассматривал? Может она видео передает в ВМ?

 

[Oleg1987]

Я юзаю vSphere ESXi на серверах. На счет GPU не скажу (вроде там можно подбросить напрямую для одной VM), но в целом ни каких потерь производительности незамеченно

 

[Lord_Alfred]

А VMware не рассматривал? Может она видео передает в ВМ?

VirtualBox? Точно не передаст физическое устройство в виртуальную машину

Я юзаю vSphere ESXi на серверах. На счет GPU не скажу (вроде там можно подбросить напрямую для одной VM), но в целом ни каких потерь производительности незамеченно

А в целом как - сложная установка/настройка? Если вдруг в закромах где-то лежит мануал, по которому всё настраивал - буду очень благодарен И, да, напиши, плиз, точную версию и название софта, там у них модификаций куча, что не разберешься что для чего сходу

 

[one]

VMWare VirtualBox? Точно не передаст физическое устройство в виртуальную машину

Нет, просто VMware - https://www.vmware.com/

 

[Lord_Alfred]

Нет, просто VMware - https://www.vmware.com/

Это название фирмы, а продуктов у них куча ведь всяких. Скорее всего имеешь ввиду https://www.vmware.com/ru/products/vsphere.html - вот как раз по ней куча вопросов, может кто-то на них ответит (те, кто юзают это). А то пока что кажется это всё слишком сложным, да и версий/лицензирования куча разных у неё - не ясно что именно мне нужно

 

[one]

Это название фирмы, а продуктов у них куча ведь всяких. Скорее всего имеешь ввиду https://www.vmware.com/ru/products/vsphere.html - вот как раз по ней куча вопросов, может кто-то на них ответит (те, кто юзают это). А то пока что кажется это всё слишком сложным, да и версий/лицензирования куча разных у неё - не ясно что именно мне нужно

Да, определиться тут сложно. Посмотри в сторону Workstation. На торентах лежит. Может и подойдет.

 

[Lord_Alfred]

Да, определиться тут сложно. Посмотри в сторону Workstation.

Там не прокинуть GPU будет судя по: https://communities-gbot.vmware.com/thread/577729 и https://communities-gbot.vmware.com/thread/521863

Нашел ещё вот такую табличку полезную, нужно смотреть в последний столбец ("PCI passthrough"): https://en.wikipedia.org/wiki/Comparison_of_platform_virtualization_software#Other_features

Пока что все плюсы идут в сторону vSphere ESXi, рискнуть что ли и попробовать (хоть и пишут, что надо там хакать что-то чутка для работы GPU)...

 

[Oleg1987]

Если вдруг в закромах где-то лежит мануал, по которому всё настраивал - буду очень благодарен

Есть такой курс - http://nnm-club.me/forum/viewtopic.php?t=1169898
Там все разжевано, но смотреть долго и нудно.

И, да, напиши, плиз, точную версию и название софта, там у них модификаций куча

VMware vSphere Hypervisor (ESXi) 6.5
Тебе первоначально дадут установить самую навороченную лицензию со всеми возможностями. Юзать ее можно 60 дней. Можно получить бесплатный ключ, зарегистрировавшись на сайте vmware.com. Но на бесплатной лицензии есть ряд ограничений (то ли до 8, то ли до 12 ядер процессора)
В гугле есть инструкции как сбрасывать триальный период

Сложности могут возникнуть с настройкой сети. 1 ip нужен для самого сервера ESXi и для каждой поднятой виртуалки по выделенному ip. Либо настраивать работу виртуалок через NAT. Но тут я не знаю нужен ли для NAT отдельный ip или можно настроить через основной (на которым сам сервер ESXi)

 

[Lord_Alfred]

Сложности могут возникнуть с настройкой сети. 1 ip нужен для самого сервера ESXi и для каждой поднятой виртуалки по выделенному ip. Либо настраивать работу виртуалок через NAT. Но тут я не знаю нужен ли для NAT отдельный ip или можно настроить через основной (на которым сам сервер ESXi)

Вот это не очень круто, конечно.. У меня mikrotik стоит и трогать там что-то лишний раз немного боязно (те, кто настраивали его хоть раз - поймут)
Плюс ещё - у меня у сервера хоть и 2 Ethernet, но подключен только 1 к сети, а чтоб второй подрубить - нужно будет покупать свитч. Но на сколько я понял (требования для ESXi) для работы будет достаточно и 1 Ethernet подключения, хотя не очень понятно чем отличаются "технический минимум" и "рекомендательный минимум".

К слову, я тут сейчас весь вечер гуглил инфу о vSphere ESXi (даже попробовал его установить на виртуалке...) и пришел к интересной мысли:
Если думать о 2х различных вариантах вариантах установки, то самые приоритетные варианты для меня это:

1. Ubuntu, а в ней через VirtualBox запускать Windows
2. vSphere ESXi, где будет запущено одновременно Ubuntu и Windows

И тут как раз кроется мелочь, которую я сразу не заметил: у меня 2 ЦП по 6 ядер (по 12 ядер в HyperThreading), в сумме 12 ядер (24 ядра в HyperThreading); если использовать вариант установки №1, то я могу "прокинуть" вовнутрь все ядра и уже исходя из нагрузки регулировать количество потоков в зенке, чтоб у меня не получилась ситуация, что зенка забила на 100% проц и я даже не смогу зайти в Ubuntu, чтоб выключить виртуалку (маловероятно, но вдруг), плюс не ясно какие будут потери в производительности. Но! Если использовать вариант установки №2, то мне нужно будет самостоятельно распределить ядра между ОС (рекомендации для Ubuntu) - тут я бы скорее всего сделал 4 ядра для Ubuntu и 20 ядер для Windows (правильно ведь, что я говорю о ядрах с HT? или в ESXi распределение ядер идет без него?). И вот тут встает вопрос: а будет ли такой вариант производительней варианта №1, т.к. там заведомо больше ядер => больше потоков зенки можно заюзать.

Очень интересно вот какие мысли у кого есть на этот счет. Ибо пока что от ESXi вижу плюсы в том, что системы будут в какой-то степени независимо от друг друга работать (а значит можно грузить под завязку каждую), но сложность в настройке и танцы с бубном мне не очень нравятся (начиная от установки, настройки роутера и заканчивая пробрасыванием GPU - там вроде это не в 1 клик делается, нужно что-то поковырять немного будет).

 

[Oleg1987]

Вот это не очень круто, конечно.. У меня mikrotik стоит и трогать там что-то лишний раз немного боязно (те, кто настраивали его хоть раз - поймут)

Я тут наверное ступил немного - у тебя же все это дело дома, т.е. сеть локальная и проблем с нехваткой ip не должно быть. Но вообще я в этих сетях нуб нубом, мне эту часть хостер всегда настраивает)

pЛучше найди толкового толкового сисадмина, который тебе за пару деревянных все объяснит на пальцах или настроит под ключ

 

[DmitryAk]

На proxmox в качестве гипервизора не смотрел? Судя по линкам (раз на лину два на винду) GPU пробросить можно..

 

[Lord_Alfred]

Но вообще я в этих сетях нуб нубом, мне эту часть хостер всегда настраивает)

Вот я тоже нуб в этом плане)

pЛучше найди толкового толкового сисадмина, который тебе за пару деревянных все объяснит на пальцах или настроит под ключ

Пытался, есть знакомый очень толковый, он после услышанного сказал "ставь убунту и из под неё винду, не делай мозг" ))

На proxmox в качестве гипервизора не смотрел?

Неа, гуглил его вчера немного, но смущают тоже пляски с бубном, коих там не мало. Да и получается, что если мне из убунты запускать винду, то мне в винде GPU то не нужна ведь (я вроде писал в первом посте про это, что нужна только в Ubuntu). Поэтому тут надо бы погулить вообще какие-нибудь сравнительные таблицы с замерами производительности гостевой Win на различных виртуальных машинах.

 

[Lord_Alfred]

Продолжаю копать в сторону сравнения производительности различных виртуальных машин и гипервизоров.

Общая интересная инфа на этот счёт (на русском): https://ru.stackoverflow.com/a/451250/245362
Большая сравнительная таблица на википедии: https://ru.wikipedia.org/wiki/Сравнение_виртуальных_машин

Судя по всему стоит всё таки думать в сторону VMWare vSphere ESXi, а уж если "не заведется", то пробовать что-то другое (KVM? VirtualBox?)

 

[esouldy]

Поддержу про проксмокс. Недавно форумчанину настривал серв (правда без таких заморочек). И вот он высказал мысль, что все эти виртуализации жрут много ресурсов хоста. мне стало интересно.
Тестировал синтетикой с сайта cpubenchmark. Знаю что синтетика ничего не показывает и тд и тп. Но фишка в том, что заявленная на их сайте процессорная производительность даже на пару пунктов ниже, чем оказалась у меня по результатам теста. В общем, на этом я успокоился и не параноил дальше.
А по поводу проброса ГПУ, в вики проксмокса есть про это. И вроде бы, не буду утверждать, видяха прокидывается бед драйверов, чисто как устройство.

 

[Lord_Alfred]

Чтобы тема не оставалась без итогового выбора - расскажу, что я в итоге поставил: VMware vSphere ESXi 6.5
Очень рад, что в итоге выбрал его - было кране интересно узнать как такие вещи реализуются на продакшен-софте, который используют в том числе в датацентрах и вообще много где.

Отдельное спасибо за:

Есть такой курс - http://nnm-club.me/forum/viewtopic.php?t=1169898
Там все разжевано, но смотреть долго и нудно.

Курс действительно достойный. Не поленился и посмотрел полностью первое видео - очень многое сразу же в голове уложилось. Единственное, что выбесило - это тупые идиоты, которые пришли к тому преподавателю на эти занятия. Они там настолько тупят и делают не понятно что, что постоянно переспрашивают и тормозят весь процесс. Второе видео посмотрел частично, т.к. уже совсем устал слушать вопросы аля "а какой пароль надо ввести при установке windows?"...

PS: видюху таки прокинул в Ubuntu, это был целый квест (по большей части из-за самой убунты, а не из-за ESXi): https://vk.com/@lord.alfred-nvidia-passthrough-to-ubuntu-in-vmware-esxi

 

[Meteorburn]

Тоже пытаюсь использовать GPU для рендеринга, только лучше результат не получил. На CPU гораздо лучше рендерит. Во всяком случае у меня.
Обрабатываю тексты и пунктуацию.

Тесты из под Theano показывают 11 сек. для CPU и 0,3 сек для GPU. Запускаю скрипт, но GPU рендерит в три раза дольше, чем на CPU.
Запускаю всё из под Windows правда и на старых комплектующих.

Лорд, почему Windows + Linux, если можно всё на Windows держать, правда с такими же танцами)

 

[Lord_Alfred]

Лорд, почему Windows + Linux, если можно всё на Windows держать, правда с такими же танцами)

С огромными танцами под виндой это всё будет) Особенно сторонние либы/проекты, а не то, что пилит гугл (tensorflow) или сообщество (theano/keras)

 

[artyom8819]

windows на proxmox толком не работает, virtio драйвера не позволяют использовать ресурсы по полной

 

[ZULI]

Читал про XEN / vSphere ESXi - на сколько я понял, это вариант, когда ставится гипервизор из которого уже запускаются другие ОС (в моем случае запускались бы Ubuntu и Windows, но не из друг друга). Тут есть очень большие сомнения, что опять же нельзя будет использовать GPU в Ubuntu, точной инфы про это я не нашел + очень смущает то, что такой вариант возможно будет значительно сложнее в настройке (может и нет, развейте эту мысль, если я не прав).

Все должно работать, ставишь ESXi, под ней винду, линукс что угодно и передаешь физическое устройство одной из VM. Теория такая. С флешками и прочими устройствами все нормально работает, с видео не пробовал, но теоретически та же схема.

Еще ESXi может не задружить с твоим сервером, как правило для легкого взлета нужен проц интел и сетевка из списка поддерживаемых, но даже на встроенный Realtek можно прикрутить дрова в образ, плюс еще если 1 IP на сервере нужно будет или маршрутизацию делать или поднимать vm как роутер, туда передавать ip, а уже дальше доступ к esxi через него.

В общем без бутылки не разберешься

P.S. Как оказалось тема старая и ТС уже разобрался, а я старался пальцы стирал

 

[Lord_Alfred]

P.S. Как оказалось тема старая и ТС уже разобрался, а я старался пальцы стирал

Там очень старая, я примерно с того времени и юзаю ESXi Офигенный гипервизор, ненарадуюсь что тогда выбрал его, всё супер-стабильно)
К слову, GPU я в итоге смог подключить там, даже статью как-то писал: https://vk.com/@lord.alfred-nvidia-passthrough-to-ubuntu-in-vmware-esxi