Парсинг JSON в 50 потоков не освобождает память...

BAZAg

Client
Регистрация
08.11.2015
Сообщения
1 786
Благодарностей
2 449
Баллы
113
Здравствуйте.
В шаблоне отключено использование браузера.
Первым GET запросом получает данные.
Вторым экшином парсит JSON.
Дальше забрасывает в табличку (не привязана к файлу).
Дальше отправляет запрос в базу данных.
После чего поток прекращает свое существование.

Запускаю такой шаблон в 50 потоков и в течении суток и Зеннопостер.exe начинает потреблять 13+ ГБ ОЗУ.
Как заставить потоки освобождать используемые ресурсы после завершения?
 
  • Спасибо
Реакции: Lord_Alfred

VladZen

Administrator
Команда форума
Регистрация
05.11.2014
Сообщения
22 446
Благодарностей
5 905
Баллы
113
Какая версия у вас? В логах есть какие-то ошибки?
 

nole

Client
Регистрация
19.11.2010
Сообщения
368
Благодарностей
215
Баллы
43
Тоже писал об этом, смысл шаблона был примерно такой же, парсер с использованием json без использования браузера, в итоге сжирал 30гб оперативы за полдня и зависал, переделал на регулярки и стало нормально
Версия была 5.10.2.0, на последней не тестил, т.к. не увидел правок по этому поводу
 

VladZen

Administrator
Команда форума
Регистрация
05.11.2014
Сообщения
22 446
Благодарностей
5 905
Баллы
113
Вообщем по данной проблеме нужны подробные логи диагностики после воспроизведения проблемы и желательно, пример шаблона, на котором проблема воспроизводится.
 

BAZAg

Client
Регистрация
08.11.2015
Сообщения
1 786
Благодарностей
2 449
Баллы
113
Версия 5.10.1.0, но запускался шаблон у других людей на последней версии - также кушает память.
Ошибок нет как в логе, так при выполнении диагностики.
---
Да, если выход не будет найден, то придется делать это регулярками.
Просто может быть такое, что эта проблема просто не была обнаружена разработчиками (где-то данные запоминаются, но при закрытии потока не освобождаются).
 

VladZen

Administrator
Команда форума
Регистрация
05.11.2014
Сообщения
22 446
Благодарностей
5 905
Баллы
113
Логи диагностики просьба все-таки сделать. И если есть возможность то в последней версии 5.10.3.1.
В настройках нужно включить Подробный лог.
Подробный лог.png
 

BAZAg

Client
Регистрация
08.11.2015
Сообщения
1 786
Благодарностей
2 449
Баллы
113
Вообщем по данной проблеме нужны подробные логи диагностики после воспроизведения проблемы и желательно, пример шаблона, на котором проблема воспроизводится.
Проблема сразу не воспроизводится - заметно потребление ресурсов через какое-то время работы, например 3-6 часов.
Шаблон для теста - это подойдет даже три экшина:

отправили гет запрос для получения каких-то json данных,
(впринципе можно даже гет-запрос не отсылать а сразу в переменную подавать одни и те же данные например информацию в виде json о 100 комментариях).
дальше кубик парсинга json,
дальше добавление этих данных в таблицу внутри самого шаблона (данные можно не сохранять не привязывая к файлу).

После чего запустить этот шаблон например в 50 потоков и посмотреть на потребление ресурсов через сутки.
Или запустить в 100-200 потоков и посмотреть на потребление ресурсов через меньший промежуток времени.
 

LeonidV

Client
Регистрация
01.04.2016
Сообщения
23
Благодарностей
2
Баллы
3
Да такая проблема и у меня парсер с использованием json без использования браузера, так же жрет память
 

SoUp1

Client
Регистрация
15.09.2013
Сообщения
144
Благодарностей
47
Баллы
28
Кто в курсе, данный баг пофиксили?
 

nvmds

Client
Регистрация
04.05.2016
Сообщения
91
Благодарностей
7
Баллы
8
Нифига не пофиксили
 

VladZen

Administrator
Команда форума
Регистрация
05.11.2014
Сообщения
22 446
Благодарностей
5 905
Баллы
113

amyboose

Client
Регистрация
21.04.2016
Сообщения
2 312
Благодарностей
1 191
Баллы
113
newtonsoft.json решит все ваши проблемы
 

nvmds

Client
Регистрация
04.05.2016
Сообщения
91
Благодарностей
7
Баллы
8

ssXXXss

Client
Регистрация
23.12.2014
Сообщения
7 379
Благодарностей
2 041
Баллы
113

ssXXXss

Client
Регистрация
23.12.2014
Сообщения
7 379
Благодарностей
2 041
Баллы
113
Json это ты когда реально знаешь что там есть то что собираешься забрать, тупой парсинг
 

nvmds

Client
Регистрация
04.05.2016
Сообщения
91
Благодарностей
7
Баллы
8
Сделал на newtonsoft.json, жор остался. Я так понимаю жрет оперативу добавление в таблицу. Только вот суммарно таблицы весят 100мб, а оперативы уже 3гб съело
 

Кто просматривает тему: (Всего: 2, Пользователи: 0, Гости: 2)