Дубли изображений при парсинге методом GET-запроса

[maks-granata]

Помогите решить проблему. При парсинге изображений GET-запросом в папке для парсинга появляются дубли изображений типа xxx(1).jpg, xxx(2).jpg и т.д. Пробовал выставлять таймауты по совету - http://zennolab.com/discussion/threads/dubli-izobrazhenij.20359/#post-133891, не помогает. Урлы изображений берутся из списка, непосредственно перед GET-запросом стоит обработка списка - удаление дублей, а также поиск названий файлов изображений на соответствие уже спарсенным файлам из рабочей папки, но это не помогает. Как решить? Или как минимум отследить на каком этапе появляются дубли.

 

[ZennoScript]

Данные из файла берёте с удалением? Они не могут пересекаться на разных потоках?

 

[rostonix]

Ошибки в логе есть? Может программа думает что недогрузила файл и снова пытается