Парсинг JSON в 50 потоков не освобождает память...

[BAZAg]

Здравствуйте.
В шаблоне отключено использование браузера.
Первым GET запросом получает данные.
Вторым экшином парсит JSON.
Дальше забрасывает в табличку (не привязана к файлу).
Дальше отправляет запрос в базу данных.
После чего поток прекращает свое существование.

Запускаю такой шаблон в 50 потоков и в течении суток и Зеннопостер.exe начинает потреблять 13+ ГБ ОЗУ.
Как заставить потоки освобождать используемые ресурсы после завершения?

 

[VladZen]

Какая версия у вас? В логах есть какие-то ошибки?

 

[nole]

Тоже писал об этом, смысл шаблона был примерно такой же, парсер с использованием json без использования браузера, в итоге сжирал 30гб оперативы за полдня и зависал, переделал на регулярки и стало нормально
Версия была 5.10.2.0, на последней не тестил, т.к. не увидел правок по этому поводу

 

[VladZen]

Вообщем по данной проблеме нужны подробные логи диагностики после воспроизведения проблемы и желательно, пример шаблона, на котором проблема воспроизводится.

 

[BAZAg]

Версия 5.10.1.0, но запускался шаблон у других людей на последней версии - также кушает память.
Ошибок нет как в логе, так при выполнении диагностики.
---
Да, если выход не будет найден, то придется делать это регулярками.
Просто может быть такое, что эта проблема просто не была обнаружена разработчиками (где-то данные запоминаются, но при закрытии потока не освобождаются).

 

[VladZen]

Логи диагностики просьба все-таки сделать. И если есть возможность то в последней версии 5.10.3.1.
В настройках нужно включить Подробный лог.

 

[BAZAg]

Вообщем по данной проблеме нужны подробные логи диагностики после воспроизведения проблемы и желательно, пример шаблона, на котором проблема воспроизводится.

Проблема сразу не воспроизводится - заметно потребление ресурсов через какое-то время работы, например 3-6 часов.
Шаблон для теста - это подойдет даже три экшина:

отправили гет запрос для получения каких-то json данных,
(впринципе можно даже гет-запрос не отсылать а сразу в переменную подавать одни и те же данные например информацию в виде json о 100 комментариях).
дальше кубик парсинга json,
дальше добавление этих данных в таблицу внутри самого шаблона (данные можно не сохранять не привязывая к файлу).

После чего запустить этот шаблон например в 50 потоков и посмотреть на потребление ресурсов через сутки.
Или запустить в 100-200 потоков и посмотреть на потребление ресурсов через меньший промежуток времени.

 

[LeonidV]

Да такая проблема и у меня парсер с использованием json без использования браузера, так же жрет память

 

[SoUp1]

Кто в курсе, данный баг пофиксили?

 

[nvmds]

Нифига не пофиксили

 

[VladZen]

Нифига не пофиксили

ничига не прислали, ни запрошенный репорт, ни пример для воспроизведения проблемы.

 

[amyboose]

newtonsoft.json решит все ваши проблемы

 

[nvmds]

ничига не прислали, ни запрошенный репорт, ни пример для воспроизведения проблемы.

https://zennolab.com/discussion/threads/parsing-json-v-50-potokov-ne-osvobozhdaet-pamjat.34669/#post-256989

 

[ssXXXss]

newtonsoft.json решит все ваши проблемы

да не всегда, там тоже надо ставить исключений много

 

[ssXXXss]

Json это ты когда реально знаешь что там есть то что собираешься забрать, тупой парсинг

 

[nvmds]

Сделал на newtonsoft.json, жор остался. Я так понимаю жрет оперативу добавление в таблицу. Только вот суммарно таблицы весят 100мб, а оперативы уже 3гб съело