Нагрузка на списки

[Sefroz]

Шаблон использует 2 списка из 1го берет данные, в другой складывает.

Проблема в следующем: увеличение потоков не дает увеличения результативности и даже результативность немного падает. Есть потолок в количестве взятий строк с 1го файла , и добавления во 2й, нагрузка на процессор 40-55% , использование оперативной памяти 35-40% , ssd диск. Проблема именно в списках. Из первого берет с удалением, во 2й кладет.


Ранее тоже замечал, что скорость часто ограничивается из-за этого. Списки привязаны к тхт файлам конечно же.

Вопрос: как оптимизировать настройки чтобы увеличить потоки ?

 

[Sefroz]

так же замечал что если сделать шаблон который только и делает , что работает со списками. Берет из 1го списка строку, делает некоторые логически действия с ним и перекладывает в другой. Нагрузки на сервер никакой, но не редко при увеличении потоков результаттивность не растет, все упирается в какой то потолок

 

[Phoenix78]

в потолок скорости чтения с диска ?

 

[Sefroz]

замечал ранее, что если брать не 1 строчку , а брать из 1го списка сразу несколько через C# , то скорость выше работы со списком. Но проблема в том, что шаблон большой, куча возможностей вылета до того как будет исполнен весь лист Много будет путаницы со складыванием обратно не использованных строк.


Можно как то в настройках подкоректировать, так чтобы снизилась загруженность этих списков и можно было чтобы потоки с ними более интенсивно работали. 50% процессорной мощности сервера простаивает просто так.

 

[ffeniks]

Как вариант, заменить txt на nosql , к примеру redis
Это решит проблему

 

[Sefroz]

Как вариант, заменить txt на nosql , к примеру redis
Это решит проблему

Знать бы еще как его подключить к зенно , мало очень инфы на форуме...

 

[backoff]

списки большие? обычно при больших размерах начинается тупилово.
простой вариант решения
разбить список на кучу файлов и чтоб они подгружались по очереди, 1 txt не более 20Мб тогда скорость норм

либо изучать вопрос работы с БД