Работа с файлами в многопотоке

[Geka1989]

Подскажите логику, есть список файлов с текстовкой, необходимо их открывать, брать текст и создавать посты. Беру экшеном список файлов, потом беру строки с удалением, проблема в том что каждый поток проходит кубик получить список файлов и в итоге получается куча строк и один и тот же пост дублируется много раз. Как быть? что сделать чтоб только раз получался список файлов?

 

[orka13]

Так создайте физический список файлов перед запуском шаблона. А в шаблоне этот файл прикрепите к списку, с которого с удалением будете брать строки. И в каждом потоке будет уникальная строка из этого списка.

 

[Geka1989]

Так создайте физический список файлов перед запуском шаблона. А в шаблоне этот файл прикрепите к списку, с которого с удалением будете брать строки. И в каждом потоке будет уникальная строка из этого списка.

Шаблон работает в два этапа, создает файлы, затем заливает, получать отдельно список файлов не совсем удобно

 

[orka13]

тогда перед созданием списка файлов сделайте проверку на наличие этого файла зеновским кубиком. Если файла нет, то создаем его. Если есть, значит какой то поток уже успел его создать, и тогда мы пропускаем шаг создания. Сработает при условии что там не сотни тысяч файлов и создания файла-списка занимает не больше секунды. А иначе надо усовершенствовать алгоритм.

 

[Geka1989]

тогда перед созданием списка файлов сделайте проверку на наличие этого файла зеновским кубиком. Если файла нет, то создаем его. Если есть, значит какой то поток уже успел его создать, и тогда мы пропускаем шаг создания. Сработает при условии что там не сотни тысяч файлов и создания файла-списка занимает не больше секунды. А иначе надо усовершенствовать алгоритм.

Если потоки быстро стартанут то есть вероятность что какое то количество пролетит мимо проверки и создаст его снова, но мысль интересная, покопаю в этом направлении, спасибо!

 

[Meteorburn]

Если потоки быстро стартанут то есть вероятность что какое то количество пролетит мимо проверки и создаст его снова, но мысль интересная, покопаю в этом направлении, спасибо!

У меня подобное реализовано через глобальные переменные.
1 поток инициализирует глобальную переменную и присваивает ей значение - 1. Если второй поток видит, что значение глобальной переменной - 1, значит он ждет в цикле какое-то время.

Потом первый поток создает все необходимые файлы и устанавливает значение переменной - "done".

Для второго и остальных потоков это индикатор, что можно продолжить работу. Далее вы остальными потоками обходите "создание файла".

Можно еще реализовать через проверку на количество работающих потоков.