Каким сервисом с общей папкой воспользоваться?

[l1ke]

Всем привет. Подскажите пожалуйста, какой в моем случае будет самый оптимальный web-сервис для реализации следующей схемы. Есть 10 серверов, все они должны иметь доступ к одной и той же общей папке, и скорость синхронизации должна быть максимальной, что бы каждый сервер всегда видел последние обновления по файлам в этой общей папке.

Что пробовал. Поставил Google Disk, но он тупит, на одном сервере который делает определенные действия с файлами, все файлы на google disk соответственно имеют актуальную версию, а на другом сервере который пока не делает никаких изменений с файлами, эти текущие изменения не видны, хотя синхронизация включена по дефолту. Хотелось бы очень услышать ваших советов, если кто-то имел дело с подобным опытом.

 

[Alex91]

Для твоей схемы нет подходящих вариантов. Потому что синхронизация абсолютно у всех облачных сервисов , явление тормознутое.
А если рассматривать работу в зенке, так еще упрёшься в проблему доступа на сетевой диск. Зенка малясь устарела в этом плане.
Фиг знает какая у тебя конечная задача, но я бы лучше думал в сторону сетевой БД.

Да и вообще, как ты с сетевыми дисками собрался обеспечивать безопасный доступ к одним и тем же файлам ? Это же бред полный. У тебя такая каша в затирании данных будет, что вообще никогда не разберёшься кто и когда затер

 

[usboff]

Я бы смотрел в сторону своего отдельного файл-сервера и взаимодействия с ним по SFTP. Но без правильной логики, например статуса занятости файла(а под это дело уже просится БД) будет каша не лучше чем через облака от бигов.

 

[l1ke]

Для твоей схемы нет подходящих вариантов. Потому что синхронизация абсолютно у всех облачных сервисов , явление тормознутое.
А если рассматривать работу в зенке, так еще упрёшься в проблему доступа на сетевой диск. Зенка малясь устарела в этом плане.
Фиг знает какая у тебя конечная задача, но я бы лучше думал в сторону сетевой БД.

Да и вообще, как ты с сетевыми дисками собрался обеспечивать безопасный доступ к одним и тем же файлам ? Это же бред полный. У тебя такая каша в затирании данных будет, что вообще никогда не разберёшься кто и когда затер

если в кратце, то суть в нагуле большого кол-ва профилей с 5 серверов.

 

[Alex91]

если в кратце, то суть в нагуле большого кол-ва профилей с 5 серверов.

Не, ты что... Зенка не дружит с сетевыми дисками...
Помимо этого, если речь идет про профиль папки, то есть определенные проблемы при копировании на разные машины... Как сейчас фиг знает, но раньше это было катастрофой.
Да и потом, все еще стоит вопрос, как ты собрался обеспечивать взятие в работу только одного профиля, и что бы другие сервера не вмешивались...

По совокупности, проще нагуливать профили независимо на каждом сервере, и уже потом копировать на тот сервер, где будет работа с ними.... Но , сначала, проверь все ли нормально при копировании... А то щас наделаешь, а там болт в конце

 

[l1ke]

Не, ты что... Зенка не дружит с сетевыми дисками...
Помимо этого, если речь идет про профиль папки, то есть определенные проблемы при копировании на разные машины... Как сейчас фиг знает, но раньше это было катастрофой.
Да и потом, все еще стоит вопрос, как ты собрался обеспечивать взятие в работу только одного профиля, и что бы другие сервера не вмешивались...

По совокупности, проще нагуливать профили независимо на каждом сервере, и уже потом копировать на тот сервер, где будет работа с ними.... Но , сначала, проверь все ли нормально при копировании... А то щас наделаешь, а там болт в конце

Мне показалось что проще когда все профили лежат в одной папке, и к ней идет обращение от нескольких серверов как на нагул так и на использование профилей. Так как профилей нагуливать ежедневно нужно более 100кк то вот думаю как проще всего варить эту кашу)))

 

[cooki]

1 млрд профилей?
почему просто не разделить их, на каждый сервер по 100 млн судя по посту? хотя и это ничего не вывезет
чем мешать все в кучу и потом получать дичь
я думаю любая файловая система потухнет от такого объема внутри самой системы, не говоря про онлайн)))

 

[l1ke]

1 млрд профилей?
почему просто не разделить их, на каждый сервер по 100 млн судя по посту?
чем мешать все в кучу и потом получать дичь
я думаю любая файловая система потухнет от такого объема внутри самой системы, не говоря про онлайн)))

Упс, я имел ввиду 1 000 000 профилей. Мешает поместить их на 1 сервер то, что за час работы, мой шаблон нагуливает всего 500 профилей, при условии что работа идет в 60-70 потоков, при этом загрузка проца сервера 90%. Я бы рад поместить куда-то на 1 сервак лям профилей, только сервак придется арендовать квантовый

 

[l1ke]

и потом, я могу какое-то кол-во профилей распределить по серверам и отдельно нагуливать, но каждый раз копировать с сервака на сервак большое кол-во профилей - садомазо еще то

 

[Crucifer]

и потом, я могу какое-то кол-во профилей распределить по серверам и отдельно нагуливать, но каждый раз копировать с сервака на сервак большое кол-во профилей - садомазо еще то

Срок жизни одного профиля?

 

[gospodinkot]

На одном серваке хранить все профили. На рабочих серваках шаблон выбирает профиль, в общей бд записывает статус "занято", загружает на свой диск, например через FTP, работает, потом загружает назад на общий сервер.

 

[l1ke]

Срок жизни одного профиля?

да хрен его знает, ну какой может быть срок жизни у профиля для Я Метрики, сутки наверное...

 

[Crucifer]

да хрен его знает, ну какой может быть срок жизни у профиля для Я Метрики, сутки наверное...

Ну тогда откуда возьмутся миллионы профилей? Надо удалять каждый день старые.

Вам правильно выше подсказали, поднимайте базу mysql на сервере, данные о профилях записывайте туда.
Складывайте все профили туда же со всех серверов, в базе прописывайте путь до файла профиля.
Профили складывайте по папкам, генерацию папок по дате и часу создания, чтобы у вас в одной папке не было никогда больше 20к файлов. Чем меньше тем лучше.
\14032025\18\profile.zpprofile
Периодически запускайте удаление профилей в базе старше такого то времени. Плюс удаление файлов на диске.

 

[sydoow]

Держи профиля в общей папке облака
А запуск делай через БД с паузой после последнего запуска, и чтобы одновременно один профиль не юзали два разных потока (и соотвественно сервера)