Работа со списком в многопотоке

[shoorupz]

Добрый день
Ковырался-ковырялся, но, похоже, чего-то наглухо недопонимаю...
Паршу ссылки(гет) с сайтмап, и добавляю их в список1 (с галочками "загружать.." и "Сохранять изм...", сохраняется в файл1). Далее, беру из списка1, с удалением, первую строку, тобеж юрл, и гетом собираю по этому юрл ссылки в список2. Далее, удаляю дубли из списка2, и сохраняю этот список в файл2. (список2 с теми же галочками, что и список1 )
Что происходит в многопотоке: похоже, что все потоки берут один и тот же юрл из списка1, т.к. наблюдая за файлом2 видно, что он сначала наполняется дублями, а потом уменьшается пропорционально кол-ву потоков(т.е. когда дубли удаляются).
А задача, чтобы каждый поток работал с уникальным юрл из списка1. Не пойму, что я не так делаю..

 

[VladZen]

Что происходит в многопотоке: похоже, что все потоки берут один и тот же юрл из списка1, т.к. наблюдая за файлом2 видно, что он сначала наполняется дублями, а потом уменьшается пропорционально кол-ву потоков(т.е. когда дубли удаляются)..

Как вы определяете, что берется один и тот же URL? По уменьшению файла 2) Это лишь предположение. Выводите взятый URL в оповещение в логе. Тогда будет видно.
Если у вас список1 синхронизирован с файлом1, то все должно работать.

 

[shoorupz]

Как вы определяете, что берется один и тот же URL? По уменьшению файла 2) Это лишь предположение. Выводите взятый URL в оповещение в логе. Тогда будет видно.
Если у вас список1 синхронизирован с файлом1, то все должно работать.

да, предположение, но какой ещё логичный ответ может быть, что в 1 поток список 2 не заполняется дублями, а в многопотоке заполняется?
сейчас проверю Вашим советом, спс

 

[shoorupz]

да, верно, в логах уникальный юрл.
теперь вообще ума не приложу что происходит..) лан, буду ковыряться, по-любому где-то мелкий затуп)

 

[VladZen]

да, верно, в логах уникальный юрл.
теперь вообще ума не приложу что происходит..) лан, буду ковыряться, по-любому где-то мелкий затуп)

вероятно где-то логика действий не так работает, как задумано. Возможно при парсинге или при работе со списком2.