Одновременная работа с профиль папками на нескольких машинах

[Putn1k]

Добрый вечер друзья! Запарился уже искать решение своей проблемы, поэтому решил обратиться сюда за помощью, так сказать к знающим людям. Думаю многим новичкам, ответ на этот вопрос будет полезен.

Что мы имеем:
- Допустим у нас есть несколько машин с установленным зеннопостером на разных серверах в интернете.
- Также у нас есть много тысяч профиль папок с десятками миллионов файлов в них (используются для браузерных шаблонов).

Что необходимо:
- Сделать синхронизацию раздела с профиль папками на нескольких машинах (чтобы зеннопостер на одной машине редактировал/добавлял файлы в профиль папке и эти изменения дублировались на других машинах по средствам интернета).

Что не подходит:
- Облачные решения такие как Яндекс.диск, Гугл диск, дроп бокс и так далее. Тупо не успевает загружать изменения происходящие в профиль папке на диск и после на второй комп (мало того, что сервисы специально режут скорость закачки/загрузки), так ещё и при незначительных сбоях, начинает с нуля синхронизацию миллионов файлов, что вообще не вариант.
- Сетевые решения тоже не подходят, так как сервера находятся в разных местах и вариант только интернет.

Ребят, не прошу готового решения, просто тыкните носом, пожалуйста, в направление куда рыть. Две недели уже мозг ломаю и ничего не могу найти годного для винды. Возможно совершенно другой подход нужен в решении данного вопроса, буду очень благодарен за подсказку.

 

[biohacker01]

Не совсем догоняю всю суть.
Но вот мысли насчет решения
1)Скорости/перекачки файлов на другой сервер( назовем хранилищем)
Профиль упаковать в zip архив, и отправить им.(много файлов передается медленее по итоговому времени, чем 1 большой файл)

2)По поводу синхронизации между много машин, если суть в том чтоб 1 машина получала профили ток те которая сама сделала.
Винде есть "имя компьютера" можно на Хранилище создать папку с названием этой машины, ии хранить в ней ток архивы профилей этой машины.

Остается вопрос только софтом для этого, который будет запускаться по расписанию

 

[Putn1k]

Не совсем догоняю всю суть.
Но вот мысли насчет решения
1)Скорости/перекачки файлов на другой сервер( назовем хранилищем)
Профиль упаковать в zip архив, и отправить им.(много файлов передается медленее по итоговому времени, чем 1 большой файл)

2)По поводу синхронизации между много машин, если суть в том чтоб 1 машина получала профили ток те которая сама сделала.
Винде есть "имя компьютера" можно на Хранилище создать папку с названием этой машины, ии хранить в ней ток архивы профилей этой машины.

Остается вопрос только софтом для этого, который будет запускаться по расписанию

Делать хранилище из архивов профилей смысла никакого нет)) нужен какой-то софт для винды, который позволяет отзеркалить/дублировать папку в которой хранятся все профили на других машинах по средствам интернета. Я много искал по этому вопросу, но что-то ничего нормального на вид так и не нашёл, а облака не подошли. Вот думаю может кто хоть названием нужной программы поделится, чтобы понимать в какое направление копать.

 

[Nebot]

Нужно одну машину выделять специально под профили и с нее подгружать актуальные, если дата файла на этой машине новее.
Ну и все изменения, естественно, на нее загружать.
Через ftp сервер-клиент.

Логика такая, по поводу конкретной реализации, хз.

 

[che100]

Ребят, не прошу готового решения, просто тыкните носом, пожалуйста, в направление куда рыть

Штатные средства винды : BITS, Powershell

 

[Putn1k]

Всем большое спасибо за идеи и названия прог. Если будут ещё идеи, накидайте, пожалуйста. Долго искал оптимальное решение, глядишь кому-то и пригодится ещё. Вот один пользователь из другой ветки тоже написал.


1. Одну машину выделяешь чисто под хранение профилей - типо такой дата сервер. Можно даже сетевой винчестер подключить прямо в локалку чтобы не наворачивать чего не следует.
2. Далее это все на всех компах монтируешь как сетевой диск
3. И просто со всех бото-серверов берешь профили с этого сетевого диска

Все. Можно наслаждаться несложной в принципе схемой.

 

[Yuriy Zymlex]

Только не забудьте добавить подобие Lock файла - пока он существует, папка профиля не должна использоваться, с него начинать работу и заканчивать его удалением.
Но и тут есть риск ненулевой коллизии, тут скорее понадобится менеджер профилей, а это лучше поискать среди баз данных (бывают разной специализации).

 

[che100]

Далее это все на всех компах монтируешь как сетевой диск

на разных серверах в интернете.

Протокол SMB разрабатывался для работы в локальной сети, потом будушь костыли пилить. Но ты обязан себе шишку набить.

 

[nicanil]

Syncthing — Википедия

ru.wikipedia.org

 

[Putn1k]

Только не забудьте добавить подобие Lock файла - пока он существует, папка профиля не должна использоваться, с него начинать работу и заканчивать его удалением.
Но и тут есть риск ненулевой коллизии, тут скорее понадобится менеджер профилей, а это лучше поискать среди баз данных (бывают разной специализации).

Добрый день. Если у меня весь список профилей находится в базе данных и когда я беру на одной машине профиль, то запрещаю эту возможность другим машинам непосредственно в базе. Это решает данную проблему?

 

[Putn1k]

Syncthing — Википедия

ru.wikipedia.org

Большое спасибо, очень похоже на то, что решит мою проблему. Скажите, пожалуйста, а Вы сами пользуетесь этой программой или может уже видели примеры её использования? Просто интересно есть ли положительный опыт в использовании.

 

[nicanil]

Большое спасибо, очень похоже на то, что решит мою проблему. Скажите, пожалуйста, а Вы сами пользуетесь этой программой или может уже видели примеры её использования? Просто интересно есть ли положительный опыт в использовании.

Увы, не смогу поделиться опытом использования, так как его нету
Когда-то сохранил ссылку на всякий случай, но "всякий случай" всё никак не наступит.

 

[Putn1k]

Увы, не смогу поделиться опытом использования, так как его нету
Когда-то сохранил ссылку на всякий случай, но "всякий случай" всё никак не наступит.

Хорошо, тогда как тестану, обязательно отпишусь насчёт жизнеспособности этой идеи

 

[Putn1k]

Syncthing — Википедия

ru.wikipedia.org

Вообщем потестировал, не смог он отсканировать всю папку с файлами (только половину папок - 500т штук отсканировал и скорость встала намертво), а до файлов даже не добрался по итогу. А вот с небольшими объёмами файлов и папок работает отлично, в этом и нашёл для себя решение. Так что спасибо за подсказку!

 

[DorogoiCheloveck]

Пол года назад я нажимал на запись проекта и делал парочку неуверенных тыков в экран. На данный момент сижу и пытаюсь понять, как сделать грамотную файловую систему для хранения/синхронизации профиль папок (сотни гигов) на множестве машин в реальном времени.

К чему это я:
1) Огромное спасибо разработчикам зенки за их труды и новые обновления, буквально за год с этой программой получил огромный прогресс в работе и развитии (очень жду новый движок и расширения )
2) Ребят, ну тыкните, пожалуйста, в каком направлении поискать решения, чтобы можно было нормально синхронизировать эти миллионы файлов из профиль папок на нескольких машинах по интернету? (облака не вариант, слишком долго грузят)

P.S. Допустим у меня стоит 5-10 машин с зеннопостером и профиль папки для всех одни и те-же, в каком хоть направлении копать? Реально вторую неделю мучаюсь, выручайте ребят))

Есть вариант, как описали выше сделать хранение всех профилей на одном сервере - им может выступать тот же FTP с оплатой за каждый гб (0.5 RUB+/мес). Хостеров можно найти на этом сайте https://backup.menu

Также есть вариант сверху подключить бд, либо сделать файловую систему и в ней хранить все данные.

 

[finista]

В форме файлов не очень удобно, в вот в формате Json в базе данных - каласс

 

[6585_Лягуша]

В форме файлов не очень удобно, в вот в формате Json в базе данных - каласс

Подскажите как хранить в json в базе, как раз появилась надобность в подобном. Что может почитать посоветуете или может есть какие инструкции, статьи?

 

[Konrod_m]

В форме файлов не очень удобно, в вот в формате Json в базе данных - каласс

Можете поделится решением? Напишите стоимость в личку.

И мало ли у кого есть отработанная схема работы с хранением ПРОФИЛЬ-ПАПОК в БД, импорт-экспорт и т.д. Напишите стоимость - пока актуально.

 

[Cop]

Я вижу 2 варианта, и сам использовал\использую оба
1. Сетевая папка, расшаренная, но без доступа из общедоступных сетей, чтоб избежать утечек. Как, если коротко, создается зеротиер подсеть zerotier.com, бесплатно до 25 компов, затем либо платно, либо поднимать свой контроллер, тоже пройдено )) и внутри подсети расшаривается папка с профилями, которые благополучно тянутся по сети. просто, быстро, безопасно...
2. немного сложнее, каждый профиль распаковывать, вставлять его в бд и затем тянуть его из бд. сложнее в том плане, что нужно правильно "разобрать по косточкам" профиль, ничего не упустив, и затем, так же четко его "собрать". Но этот способ открывает некоторые дополнительные возможности, например поочередное использование аккаунтов всеми компами. Все эти способы я реализовывал и использую по сей день...

 

[Cop]

В форме файлов не очень удобно, в вот в формате Json в базе данных - каласс

Json не всегда проканывает. Например, у хотмыл каждая третья кука кривая и хранить ее в джсоне не получается, как текст проканывает... но это при построении бд критично )) а так, да. но я предпочитаю "каждую переменку в свое гнездышко" складывать..
так видно нагляднее результат )

 

[Cop]

Вообщем потестировал, не смог он отсканировать всю папку с файлами (только половину папок - 500т штук отсканировал и скорость встала намертво), а до файлов даже не добрался по итогу. А вот с небольшими объёмами файлов и папок работает отлично, в этом и нашёл для себя решение. Так что спасибо за подсказку!

А Вас не смутило, сколько прав просит простая программка для синхрона файлов? У меня не хватило отваги дать ей столько прав )) я лучше сам такую напишу.. и да, она не способна на такие задачи, там, где нужно 1-100 файлов синхронить, может быть но несколько папок в одну, нереально