берет из списка дублями

[daymos]

Есть синхронизированный список 3к+ с уникальными айди. Шаблон в 100+ потоков берет в первом варианте строку №0 с удалением и записывает в конец файла. Во втором вариант берет строку номер random(0-100) с удалением и записывает в конец файла. В обеих вариантах попадается 10% дублей. Почему? Как быть?

 

[doc]

я не совсем понимаю, что значит 10% дублей? чтобы н ебыло дублей, нужно минусовать строки с конями, разве нет?

 

[daymos]

10% случаев он берет ту строку которую только что брал. т.е. два-три потока из 100 в эту минуту схватили первую строку.
т.е. 2-3 потока паралельно хватают первую строку с удалением до того как она будет удалена. из списка.

Стоит отметить что шаблон очень короткий. При 100 потоках он делает 20 исполнений.
и это не первый раз когда из таблицы/списка берется значения с удалением повторно.

 

[doc]

не сталкивался, и помочь не могу. могу предложить альтернативу в виде глобальных счетчиков

 

[sof]

а ты берешь случайную строку? Можно еще дополнительно перемешать список перед повторным взятием

 

[qzen4i]

10% случаев он берет ту строку которую только что брал. т.е. два-три потока из 100 в эту минуту схватили первую строку.
т.е. 2-3 потока паралельно хватают первую строку с удалением до того как она будет удалена. из списка.

Стоит отметить что шаблон очень короткий. При 100 потоках он делает 20 исполнений.
и это не первый раз когда из таблицы/списка берется значения с удалением повторно.

http://zennolab.com/discussion/threads/rabota-so-spiskom-v-mnogopotoke.24596/#post-170177

А такой вариант? чтобы лочить список, пока 1 поток взял.

 

[Leoneed]

Ага... есть такой глюк... я в support уже отправлял свой шаблон с репортами, когда у меня такой глюк появился.
Сначала у меня был шаблон со списком около 90к строк из которого должна браться строка с удалением + таблица, в которую надо складывать результат - появились дубли в таблице в многопотоке.
Потом, в качестве эксперемента нарисовал шаблон, который использует всего 1 список из которого берет 1 строку с удалением, дальше работает с SQL.
В списке около 90К строк, некоторые потоки не успевают удалять строку - результат: в базу SQL тоже дубли идут.

 

[ssXXXss]

если лочишь то в локе паузу поставь небольшую что бы строка в файле перезаписалась до того как другой поток рванёт к этому файлу, когда много строк немного с задержкой перезаписывается

 

[rostonix]

Нужно понимание как организованы списки и какими экшенами ведется работа.
Приложите семпл проекта