Параллельный парсер

[biryukovm]

Привет всем.
наверно уже этот вопрос подымался на форуме.

В общем у меня такая проблема я запускаю парсер и у меня получается несколько раз делается одна запись

Вот мой пример структур кода.
1 - Я получаю последний ID
2 - Я запоминаю этот ID и делаю запись во временную таблицу на +1 чтоб записи не повторялись
3 - После обработки заново прохожу шаг 2, шаг 1 я уже не трогаю

Проблема у меня на шаге 2
Максимальное количество потоков у меня 5 и даже получалось иногда так что все 5 потоков обрабатывают одну и туже запись
ставить ключ на ID записи думал но тогда все ровно будет что некоторые окна парсят повторно

БД MS SQL

Как избежать дублей ?

 

[Сибиряк]

вуаля и еще

 

[Phoenix78]

нужно лочить таблицы. как лочить 100500 раз уже обсуждалось на форуме. воспользуйтесь поиском