Подскажите, как решить проблему с размером файла

[keltuzhaknut]

Идет процесс парсинга, сохраняется результат в файл, процесс многопоточный, запуск идет до конца и запускается шаб по новой.
Если размер файла более 5 мб. То процесс парсинга - начинает выдавать ошибки из 10 1-5 раз(пишет в логах , как автоматизировать процесс. Чтобы работа была стабильной. без ошибок? Ошибка работы с файлом

 

[sergej_g]

Идет процесс парсинга, сохраняется результат в файл, процесс многопоточный, запуск идет до конца и запускается шаб по новой.
Если размер файла более 5 мб. То процесс парсинга - начинает выдавать ошибки из 10 1-5 раз(пишет в логах , как автоматизировать процесс. Чтобы работа была стабильной. без ошибок? Ошибка работы с файлом

Поставить паузу на пару секунд в нужном месте.

 

[Nick]

Может, ты слишком частишь с записью наперегонки? Пусть каждый поток какое-то время работает сам с собой и пополняет список в памяти, а потом это скидывает в файл и закрывается.

И ещё, в разных версиях есть разные глюки. Проверь, что именно в твоей версии с этим норм.

 

[alekwuy]

может у тебя нехватает оперативки для работы с файлом в многопотоке

 

[keltuzhaknut]

8 гб. озу, i7 - на 20 потоках, get запросы

 

[alekwuy]

8 гб. озу, i7 - на 20 потоках, get запросы

а как ты в файл записываешь?

 

[keltuzhaknut]

http://joxi.ru/gmvzvnztxxlbQm

 

[alekwuy]

http://joxi.ru/gmvzvnztxxlbQm

попробуй привязать его к списку и добавлять текст в список