- Регистрация
- 03.08.2016
- Сообщения
- 1 347
- Благодарностей
- 1 257
- Баллы
- 113
Есть шаблон, работаю в многопотоке 1500-2000 потоков, в шаблоне есть список юзерагентов 500 мегабайт весит - беру случайную строку, а так же список ящиков - беру с удалением строку из большого списка - тоже порядка 500 мегабайт. Так вот, в многопотоке на этих двух действиях идут огромные тупняки. Что было сделано
- разбивание одного шаблона на 50 шаблонов и 50 файлов (чтобы не с одним файлом работал, а каждые 30 потоков только со своими файлами)
- перенос в бд - innodb с построчной блокировкой
- перенос в ramdisk
ну вроде еще какие-то были попытки, типа работа в шарпе чисто с файлами и т.д. - самое действенное было - перенос в ram disk, но скорость улучшилась в раза три, не более. Так вот, надо действенное решение для этой задачи. Вроде можно в отдельную либу выносить или грузить список в память, но хз на сколько это будет действенно.
Контакты тут или в личку пишите.
- разбивание одного шаблона на 50 шаблонов и 50 файлов (чтобы не с одним файлом работал, а каждые 30 потоков только со своими файлами)
- перенос в бд - innodb с построчной блокировкой
- перенос в ramdisk
ну вроде еще какие-то были попытки, типа работа в шарпе чисто с файлами и т.д. - самое действенное было - перенос в ram disk, но скорость улучшилась в раза три, не более. Так вот, надо действенное решение для этой задачи. Вроде можно в отдельную либу выносить или грузить список в память, но хз на сколько это будет действенно.
Контакты тут или в личку пишите.