Помогите решить вопрос с сервером

Dendi

Client
Регистрация
20.11.2018
Сообщения
166
Благодарностей
11
Баллы
18
Здравствуйте уважаемые форумчане
В общем такая ситуация, есть бюджет 400 000 рублей.
Стоит задача, создать сайт. Сайт обычный, но там будут храниться видеоматериалы. Пользователи будут заходить и смотреть видео. По плану, на сайт будут заходить около 20 000 пользователей в месяц. Примерная память, занимаемые видеороликами 20 ТБ.
Заказчик хочет сервер купить, свой персональный. Не хостинг, не ВДС и т д. Я поискал в интернете сервера, и 20+ТБ памяти жесткий диск выходит на заоблачные цены, нежели наш бюджет. Либо тупо 1U высота не хватает, чтобы воткнуть достаточное количество жестких дисков на сервер.
В общем вопрос, как мне решить данную проблему? Кто сталкивался? насколько целесообразно покупать мощный сервер под выше нагрузку? можно ли использовать ПК на вышеописанные нагрузки? Голова идет кругом, нужна помощь. Помогите
 

Gunjubasik

Client
Регистрация
30.05.2019
Сообщения
3 526
Благодарностей
1 323
Баллы
113
1. Жесткий диск 30к рублей 18 ТБ - https://hard.rozetka.com.ua/western_digital_wd181kryz/p235890289/
2. Материнская плата 30к рублей(на 2 проца) https://hard.rozetka.com.ua/asus_z11pr_d16/p33909639/
3. Процессор 45+45 к рублей https://hard.rozetka.com.ua/dell_338_bltv/p43961712/
4. Оперативка 20+20 к рублей https://hard.rozetka.com.ua/hyperx_hx432c16fb3k2_64/p173807845/
5. Блок питания 8 к рублей https://hard.rozetka.com.ua/chieftec_gps_1250c/p24203158/
6. И корпус широкий 8к рублей

И того = 30+30+45+20+8+8=220к рублей(С левыми расходами) - так я не пойму - в чем проблема?
 

Mikhail B.

Client
Регистрация
23.12.2014
Сообщения
14 415
Благодарностей
5 454
Баллы
113

Gunjubasik

Client
Регистрация
30.05.2019
Сообщения
3 526
Благодарностей
1 323
Баллы
113

Gunjubasik

Client
Регистрация
30.05.2019
Сообщения
3 526
Благодарностей
1 323
Баллы
113
Хотя на данный момент - весь интернет переходит на облачное хранение и видеопотоки по принципы торрентов. Так что тут нужно смотреть на перспективы и быстрота окупа вашими видео. Если перспективы - тогда искать большой облачный сервис под ваши цели, но на долгосрок выйдет дорого, обязательно смотрите, что бы окуп был. Есть бизнес план?
 

Mikhail B.

Client
Регистрация
23.12.2014
Сообщения
14 415
Благодарностей
5 454
Баллы
113
Несколько провайдеров.
Если в Москве сервак. то наверняка есть провайдеры которые могут и 10 Гб\с провести за соответствующую плату.
Ну и конечно надо иметь резервного провайдера хотя бы на 1 Гб\с.
 

Dendi

Client
Регистрация
20.11.2018
Сообщения
166
Благодарностей
11
Баллы
18
В общем смотрите, то что выше предложили, это простой ПК, и он мол не подходит. А сервер с 40 ТБ, стоит заоблачных цен + расходы на ДАТА центр, + замена деталей, апгрейд и так далее. Вроде бы самым оптимальным видится вариант с размещением самого сайта на выделенном сервере, за аренду в месяц. А видеоролики размещать на условно ютубе. Экономия.
 

Hartwell

Client
Регистрация
25.09.2014
Сообщения
194
Благодарностей
118
Баллы
43
1. Жесткий диск 30к рублей 18 ТБ - https://hard.rozetka.com.ua/western_digital_wd181kryz/p235890289/
2. Материнская плата 30к рублей(на 2 проца) https://hard.rozetka.com.ua/asus_z11pr_d16/p33909639/
3. Процессор 45+45 к рублей https://hard.rozetka.com.ua/dell_338_bltv/p43961712/
4. Оперативка 20+20 к рублей https://hard.rozetka.com.ua/hyperx_hx432c16fb3k2_64/p173807845/
5. Блок питания 8 к рублей https://hard.rozetka.com.ua/chieftec_gps_1250c/p24203158/
6. И корпус широкий 8к рублей

И того = 30+30+45+20+8+8=220к рублей(С левыми расходами) - так я не пойму - в чем проблема?
Нуну... посмотрел бы я на Вас и озвученную сумму..
Пропущу холивар по позициям что перечислены (понятно на скорую руку, и тд и тп.)
Лучше пересчитаем более реальную сумму:
Требование по хранению 20тб
на кой черт пихать хард 18, к тому же один? да еще и видеопоток обрабатывать ‍♂
Для начало нужно определится с системой хранения, путем опыта/тестов/на крайняк методом тыка.
Если речь идет о сервере (24/7) - необходимо обеспечить
отказоустойчивость (1) дисковой системы [raid 5,6,10,etc]. Это не 1 хард на 16, это минимум 4 х 8гб или более в зависимости от выбранного потребностей. Самый простой вариант 4х8гб в raid5 даст 22тб места, остальное под отказы. Наиболее оптимальными вариантами будут вовсе не 12-18 тб по цене и по требованиям к кол-ву минимальному дисков к любому из raid 5 и выше. И того уже не 30, а все 80-90т.руб.

Окей второй вопрос (2) будет довольно серьезный относительно пропускной способности. Чтобы хоть как-то выжать перформанс с блинных hdd нужен адекватный рейд контроллер. обойдется в 30-40к сверху. На выходе будет лишь выполнено условие по объему.

Продолжаем, отказоусточивость рейда - это не восстановление данных. Если вдруг отпадает диск в рейде, он переходит в режим деградации. Это дает не больше не меньше тупо граматно среагировать и корректно заменить вышедший накопитель в рейде. Помрет больше допустимых - данным хана. Еще раз, если мы в рейд массиве что-либо удаляем с диска, мы прощаемся с этими данными, и рейд никаким образом не обеспечивает резервную копию данных, лишь целостность и режим деградации.

Отсюда вытекает вопрос следующий - куда, как, и на что выполнять резервное копирование данных (3). Конечно можно испытать удачу, и запустить продакшен без единой копии тупо в 1 реальный набор данных. Любая не осторожность, любая ошибка со стороны разработчика/сисадмина и польются ручьи огого. Ну и добавим вишенку на торт - есть еще механические траблы, и вовсе диски уходят пускай редко, но нежданчиком отключение от сети, или проблемы в электропроводке, в конце концов любая неосторожность на физическом уровне также ставит под риск куда более вероятнее нежели отказ 2ух+ дисков одновременно. Накидываем ИБП еще этак 20к руб. И того 80-90 + 30-40 + 20 = 130к-150к руб. и это с не решенным вопросом бэкапов.. ага..

Под бэки по сути выделяется либо отдельная дисковая полка равная или больше рабочей, ну или облачные сервисы. По сути смело добавляем еще 80-90к, и мы уже близки к модели HA кластера.

Для high available необходимо минимум 3 единицы. Не обязательно физически в одном месте. В рамках self host, будет не дурно разместить рабочую ноду с нодой репликации физически рядом, это позволит сэкономить на пропускной способности сети в рамках бэкапа. С другой стороны это не совсем правильно со стороны безопасности.Если что-то страшное произойдет в этой локации,к примеру затопят - исход будет такой-же..всем данным звезда,и начинай с начало.

----

В 400к можно уложится, но боюсь решение будет упираться в bandwitch дисковой, нежели сетевой. Но все зависит от архитектуры/софтверной реализации и тд.

--
По поводу 10гбит завести, это только магистралы, и там не все так просто, в целом от умения "общаться". МПЛС заводить выйдет ой как кругленько по сумме. Я бы ограничился парой тройкой линков местных провадйеров. Ну и в таком случае стоит очень хорошо подойти к вопросу выбора сетевого оборудования. unifi, zyxel наврятли выдадут нужную агрегацию каналов. да и в целом агрегация каналов не суммирует пропускную. их можно программно парралелить по задачам, типам трафа и тд. Но взять 2 линка по 1гб/с и надеятся что будет 2гб/с все грузить (за исключение пиринговых сетей) это так-же как поставить два автомобиля на одну трассу и пытатся разогнаться х2 как только заблагорассудится. имхо не получится)

З.ы. Gunjubasik ваще проблем нет ?:-) а это тупо только вопрос хранения данных затронут
 

luk911

Client
Регистрация
17.01.2013
Сообщения
1 542
Благодарностей
579
Баллы
113
Стучичесь в личку, за 100 к - решу вашу проблему и много сэкономите.
 

Gunjubasik

Client
Регистрация
30.05.2019
Сообщения
3 526
Благодарностей
1 323
Баллы
113
Нуну... посмотрел бы я на Вас и озвученную сумму..
Пропущу холивар по позициям что перечислены (понятно на скорую руку, и тд и тп.)
Лучше пересчитаем более реальную сумму:
Требование по хранению 20тб
на кой черт пихать хард 18, к тому же один? да еще и видеопоток обрабатывать ‍♂
Для начало нужно определится с системой хранения, путем опыта/тестов/на крайняк методом тыка.
Если речь идет о сервере (24/7) - необходимо обеспечить
отказоустойчивость (1) дисковой системы [raid 5,6,10,etc]. Это не 1 хард на 16, это минимум 4 х 8гб или более в зависимости от выбранного потребностей. Самый простой вариант 4х8гб в raid5 даст 22тб места, остальное под отказы. Наиболее оптимальными вариантами будут вовсе не 12-18 тб по цене и по требованиям к кол-ву минимальному дисков к любому из raid 5 и выше. И того уже не 30, а все 80-90т.руб.

Окей второй вопрос (2) будет довольно серьезный относительно пропускной способности. Чтобы хоть как-то выжать перформанс с блинных hdd нужен адекватный рейд контроллер. обойдется в 30-40к сверху. На выходе будет лишь выполнено условие по объему.

Продолжаем, отказоусточивость рейда - это не восстановление данных. Если вдруг отпадает диск в рейде, он переходит в режим деградации. Это дает не больше не меньше тупо граматно среагировать и корректно заменить вышедший накопитель в рейде. Помрет больше допустимых - данным хана. Еще раз, если мы в рейд массиве что-либо удаляем с диска, мы прощаемся с этими данными, и рейд никаким образом не обеспечивает резервную копию данных, лишь целостность и режим деградации.

Отсюда вытекает вопрос следующий - куда, как, и на что выполнять резервное копирование данных (3). Конечно можно испытать удачу, и запустить продакшен без единой копии тупо в 1 реальный набор данных. Любая не осторожность, любая ошибка со стороны разработчика/сисадмина и польются ручьи огого. Ну и добавим вишенку на торт - есть еще механические траблы, и вовсе диски уходят пускай редко, но нежданчиком отключение от сети, или проблемы в электропроводке, в конце концов любая неосторожность на физическом уровне также ставит под риск куда более вероятнее нежели отказ 2ух+ дисков одновременно. Накидываем ИБП еще этак 20к руб. И того 80-90 + 30-40 + 20 = 130к-150к руб. и это с не решенным вопросом бэкапов.. ага..

Под бэки по сути выделяется либо отдельная дисковая полка равная или больше рабочей, ну или облачные сервисы. По сути смело добавляем еще 80-90к, и мы уже близки к модели HA кластера.

Для high available необходимо минимум 3 единицы. Не обязательно физически в одном месте. В рамках self host, будет не дурно разместить рабочую ноду с нодой репликации физически рядом, это позволит сэкономить на пропускной способности сети в рамках бэкапа. С другой стороны это не совсем правильно со стороны безопасности.Если что-то страшное произойдет в этой локации,к примеру затопят - исход будет такой-же..всем данным звезда,и начинай с начало.

----

В 400к можно уложится, но боюсь решение будет упираться в bandwitch дисковой, нежели сетевой. Но все зависит от архитектуры/софтверной реализации и тд.

--
По поводу 10гбит завести, это только магистралы, и там не все так просто, в целом от умения "общаться". МПЛС заводить выйдет ой как кругленько по сумме. Я бы ограничился парой тройкой линков местных провадйеров. Ну и в таком случае стоит очень хорошо подойти к вопросу выбора сетевого оборудования. unifi, zyxel наврятли выдадут нужную агрегацию каналов. да и в целом агрегация каналов не суммирует пропускную. их можно программно парралелить по задачам, типам трафа и тд. Но взять 2 линка по 1гб/с и надеятся что будет 2гб/с все грузить (за исключение пиринговых сетей) это так-же как поставить два автомобиля на одну трассу и пытатся разогнаться х2 как только заблагорассудится. имхо не получится)

З.ы. Gunjubasik ваще проблем нет ?:-) а это тупо только вопрос хранения данных затронут
Это на столько хотелось показать свое я, что бы отвечать человеку, который ответил на вопрос, приведенный ниже. Не распинайтесь так, этого не оценят.
д. Я поискал в интернете сервера, и 20+ТБ памяти жесткий диск выходит на заоблачные цены, нежели наш бюджет.
 

Coolwarenik

Client
Регистрация
13.12.2016
Сообщения
57
Благодарностей
11
Баллы
8
Вроде бы самым оптимальным видится вариант с размещением самого сайта на выделенном сервере, за аренду в месяц. А видеоролики размещать на условно ютубе. Экономия.
Если такой вариант возможен - в чём вообще тогда вопрос? Обычный сервер берёте и всё.
А ролики - заливаете на облако и оттуда их раздаёте, когда надо.

ЗЫ: По цене конечно надо смотреть, облака на 20тб примерно 14-15тр в месяц будут стоить, ну и смотря какой контент, далеко не везде можно всё раздавать, держать-то пофигу, а вот раздавать...
 
Последнее редактирование:

Coolwarenik

Client
Регистрация
13.12.2016
Сообщения
57
Благодарностей
11
Баллы
8
ЗЗЫ: хотя вот на меге там подешевле будет, 16тб 30 евро, если надо больше - пишите им, сделают больше. Как и трафика больше.
 

Dendi

Client
Регистрация
20.11.2018
Сообщения
166
Благодарностей
11
Баллы
18

Кто просматривает тему: (Всего: 6, Пользователи: 0, Гости: 6)