Помогите, Дубли файлов в довландере на гет запросах

[seomiks]

Ребята здравствуйте, помогите пожалуйста советом. Сделал довландер файлов на гет запросах. Сылки берет с файла рандомно. Перед тем как взять сылку, стоит рандомная пауза 1-10 сек. При использовании шаба в 30 потоков тянет дубли линков.

Количество потоков на процес - 1

Качаю апк приложения, в оригинале и копиях разный вес файла.

комп:
процесор i5 2 ядра в 2 потока = 4 ядра
8 гб оперативки

 

[ZennoScript]

Так берите ссылки из файла с удалением, чтобы дубли не качались. Или в чем вопрос?

 

[seomiks]

Так берите ссылки из файла с удалением, чтобы дубли не качались. Или в чем вопрос?

Забыл отметить, беру с удалением.

 

[ZennoScript]

А в файл изменения сохраняете?

 

[seomiks]

А в файл изменения сохраняете?

Да, я в простых шабах хорошо понимаю, с демки заработал на про, но вот с гет видимо чтото еще недо понимаю))) Буду тестить, прийду к истине)
Вам спасибо.

 

[rostonix]

Без шаблона сложно сказать что не так