Парсинг JSON в 50 потоков не освобождает память...

  • Автор темы Автор темы BAZAg
  • Дата начала Дата начала
BAZAg

BAZAg

Client
Регистрация
08.11.2015
Сообщения
2 394
Реакции
2 801
Баллы
113
Здравствуйте.
В шаблоне отключено использование браузера.
Первым GET запросом получает данные.
Вторым экшином парсит JSON.
Дальше забрасывает в табличку (не привязана к файлу).
Дальше отправляет запрос в базу данных.
После чего поток прекращает свое существование.

Запускаю такой шаблон в 50 потоков и в течении суток и Зеннопостер.exe начинает потреблять 13+ ГБ ОЗУ.
Как заставить потоки освобождать используемые ресурсы после завершения?
 
  • Оценить
Реакции: Lord_Alfred
Какая версия у вас? В логах есть какие-то ошибки?
 
Тоже писал об этом, смысл шаблона был примерно такой же, парсер с использованием json без использования браузера, в итоге сжирал 30гб оперативы за полдня и зависал, переделал на регулярки и стало нормально
Версия была 5.10.2.0, на последней не тестил, т.к. не увидел правок по этому поводу
 
Вообщем по данной проблеме нужны подробные логи диагностики после воспроизведения проблемы и желательно, пример шаблона, на котором проблема воспроизводится.
 
Версия 5.10.1.0, но запускался шаблон у других людей на последней версии - также кушает память.
Ошибок нет как в логе, так при выполнении диагностики.
---
Да, если выход не будет найден, то придется делать это регулярками.
Просто может быть такое, что эта проблема просто не была обнаружена разработчиками (где-то данные запоминаются, но при закрытии потока не освобождаются).
 
Логи диагностики просьба все-таки сделать. И если есть возможность то в последней версии 5.10.3.1.
В настройках нужно включить Подробный лог.
Подробный лог.png
 
VladZ написал(а):
Вообщем по данной проблеме нужны подробные логи диагностики после воспроизведения проблемы и желательно, пример шаблона, на котором проблема воспроизводится.
Нажмите для раскрытия...
Проблема сразу не воспроизводится - заметно потребление ресурсов через какое-то время работы, например 3-6 часов.
Шаблон для теста - это подойдет даже три экшина:

отправили гет запрос для получения каких-то json данных,
(впринципе можно даже гет-запрос не отсылать а сразу в переменную подавать одни и те же данные например информацию в виде json о 100 комментариях).
дальше кубик парсинга json,
дальше добавление этих данных в таблицу внутри самого шаблона (данные можно не сохранять не привязывая к файлу).

После чего запустить этот шаблон например в 50 потоков и посмотреть на потребление ресурсов через сутки.
Или запустить в 100-200 потоков и посмотреть на потребление ресурсов через меньший промежуток времени.
 
Да такая проблема и у меня парсер с использованием json без использования браузера, так же жрет память
 
Кто в курсе, данный баг пофиксили?
 
Нифига не пофиксили
 
newtonsoft.json решит все ваши проблемы
 
Json это ты когда реально знаешь что там есть то что собираешься забрать, тупой парсинг
 
Сделал на newtonsoft.json, жор остался. Я так понимаю жрет оперативу добавление в таблицу. Только вот суммарно таблицы весят 100мб, а оперативы уже 3гб съело
 
Войдите или зарегистрируйтесь для ответа.

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)

Сверху Снизу