Проблема с проектом при поточности

[Tonny]

Есть проект, парсит сайты и сохраняет результат в txt фаилы.
До 10 потоков проект стабильно работает. Но нужно больше.
Взял сервак 14 ядер 16гигов RAM, канал 200мбит, запускаю на 20 потоков, проект начинает косячить, загруженность проца на 30-40%, оперативы 5гб.
Проблема в том что не всегда txt фаилы с результатом создаются, т.е. как бы файловая система несправляется чтоли.. в некоторых папках с результатом пусто, просто нет фаилов.. Таймауты тоже выставлял после сохранения результата.
Что то можно подкрутить? В винде может какие настройки нужны?

 

[rostonix]

А загруженность жесткого диска смотрели?

 

[VladZen]

А как файлы создаются? Уверены что есть данные для записи? И что они, например, не дублируются с файлами других потоков?

 

[Tonny]

Загруженность жесткого диска:

Этло процессор:

 

[Tonny]

Фаилы создаются - через экшен привязки фаила к списку. Да уверен что данные есть и каждый фаил создается с уникальным идентификатором + рандомное значение, немогут пересекаться в потоках.

 

[rostonix]

включите подробный лог.
он должен логировать проблемы с файлами