Опять про оперативку, как решить?

[elakeri]

есть шаблон, полностью на гетах, на коде c#? , без браузера.., 15 мин работы, оперативка на 100!!! проц забита... Его (zp) после этого даже не перезагрузить, не отвечает )))... используется большой список , подозреваю, что из-за него.., как можно обойти .., типа на базы данных переходить (?

 

[zortexx]

есть шаблон, полностью на гетах, на коде c#? , без браузера.., 15 мин работы, оперативка на 100!!! проц забита... Его (zp) после этого даже не перезагрузить, не отвечает )))... используется большой список , подозреваю, что из-за него.., как можно обойти .., типа на базы данных переходить (?

БД - вполне очевидный ответ. Ну и память надо освобождать.

 

[Mikhail B.]

Недопустима работа при значениях ОЗУ 90-100%

 

[elakeri]

Недопустима работа при значениях ОЗУ 90-100%

из 8, 7.9 было занято, когда пришел ))

 

[elakeri]

не понимаю, лям строчек и все , загибон идет?

 

[elakeri]

БД - вполне очевидный ответ. Ну и память надо освобождать.

В смысле освобождать?.., в процессе работы шаба?, мож там можно как-то из оперативки списки, или что он там так копит интенсивно, очищать периодически.., прост процесс до безобразия простой, взять строку, гетом качнуть по ней файл и тд.., так не хочется с бд там что то городить

 

[zortexx]

В смысле освобождать?.., в процессе работы шаба?, мож там можно как-то из оперативки списки, или что он там так копит интенсивно, очищать периодически.., прост процесс до безобразия простой, взять строку, гетом качнуть по ней файл и тд.., так не хочется с бд там что то городить

8 гигов для зенки маловато. Тем более для списка в миллион строк.
Если не хотите использовать БД, попробуйте списки поменьше.
И не забывайте перезагружать инстанс, бывает память у зенки течет.

 

[seoshnek]

В смысле освобождать?.., в процессе работы шаба?, мож там можно как-то из оперативки списки, или что он там так копит интенсивно, очищать периодически.., прост процесс до безобразия простой, взять строку, гетом качнуть по ней файл и тд.., так не хочется с бд там что то городить

Разбить список на 1000 подсписков физически. И брать итерациями или рандомом.

 

[elakeri]

8 гигов для зенки маловато. Тем более для списка в миллион строк.
Если не хотите использовать БД, попробуйте списки поменьше.
И не забывайте перезагружать инстанс, бывает память у зенки течет.

Нету там браузера.. А если брать подписок с удалением без привязки к файлу, типа у каждого потока будет свой, и с ним работать.., или ещё больше нагрузит))..., а что 8 маловато, там с такой скоростью её забивает, что и 64 будет через час забито

 

[zortexx]

Нету там браузера.. А если брать подписок с удалением без привязки к файлу, типа у каждого будет свой, и с ним работать.., или ещё больше нагрузит))..., а что 8 маловато, там с такой скоростью её забивает, что и 64 будет через час забито

Ваш выбор - БД. Смиритесь.
Кстати, память может успешно течь и без браузера. Тут, как обычно, комплекс причин.

 

[elakeri]

Ваш выбор - БД. Смиритесь.
Кстати, память может успешно течь и без браузера. Тут, как обычно, комплекс причин.

не пойму.., порезал по 30к строк, все равно начинается необратимый процесс заполнения оперативы (((, че за хрень

 

[Alexmd]

что-то мне подсказывает, что проблема у Вас в

есть шаблон, полностью на гетах, на коде c#

и завышенных ожиданиях из-за непонимания вычислительных процессов

 

[Crucifer]

не пойму.., порезал по 30к строк, все равно начинается необратимый процесс заполнения оперативы (((, че за хрень

Что у вас с файловым накопителем?

В данный момент крутится зенка в 75 потоков
1 задание 5 потоков, файл в 2кк строк, берется с удалением, пишется в новый данные.
2 задание 70 потоков, файл в 5кк строк, берется с удалением, пишется в новый файл

Плюс идет оптимизация большой базы данных, буфер Innodb - 4 гига оперативки
Проц слабенький интел, оперативки 8 гигов, используется 90-92%, все работает стабильно.
Использование проца есть на скрине.