Надо решение для ускорение в работе в многопотоке

[melutsk]

Есть шаблон, работаю в многопотоке 1500-2000 потоков, в шаблоне есть список юзерагентов 500 мегабайт весит - беру случайную строку, а так же список ящиков - беру с удалением строку из большого списка - тоже порядка 500 мегабайт. Так вот, в многопотоке на этих двух действиях идут огромные тупняки. Что было сделано
- разбивание одного шаблона на 50 шаблонов и 50 файлов (чтобы не с одним файлом работал, а каждые 30 потоков только со своими файлами)
- перенос в бд - innodb с построчной блокировкой
- перенос в ramdisk
ну вроде еще какие-то были попытки, типа работа в шарпе чисто с файлами и т.д. - самое действенное было - перенос в ram disk, но скорость улучшилась в раза три, не более. Так вот, надо действенное решение для этой задачи. Вроде можно в отдельную либу выносить или грузить список в память, но хз на сколько это будет действенно.
Контакты тут или в личку пишите.

 

[sanya]

Вас спасет переход на базу данных

 

[melutsk]

Вас спасет переход на базу данных

уже переходил, не особо помогло

 

[melutsk]

Вас спасет переход на базу данных

https://zennolab.com/discussion/threads/gde-mozhno-optimizirovat-rabotu-v-mnogopotoke-s-bd-i-ili-sam-mysql-server.68680/

 

[sanya]

База sql lite или mysql?

 

[melutsk]

База sql lite или mysql?

MySQL-5.6-x64 от openserver

 

[sanya]

Я всегда этим пользуюсь MySQL :: Download MySQL Installer
MySQL Installer 5.7.28

, но лучше ли это чем опенсервер хз...

 

[melutsk]

Я всегда этим пользуюсь MySQL :: Download MySQL Installer
MySQL Installer 5.7.28

, но лучше ли это чем опенсервер хз...

Если честно, не думаю, что особо разница есть. Мне даже 10% скорость улучшения - это не о чем. Надо хотябы в раз 5 улучшить скорость.

 

[Manfred]

есть список юзерагентов 500 мегабайт весит - беру случайную строку, а так же список ящиков - беру с удалением строку из большого списка - тоже порядка 500 мегабайт. Так вот, в многопотоке на этих двух действиях идут огромные тупняки.

Есть пара идей.

Если тупит работа с базой, то сразу вопросы про наличие индексов и как написаны сами запросы.

Если тупит код, то вопрос по используемым классам.
Прохожу сейчас курс по C#, так там ментор приводил пример оптимизации: На несколько порядков ускорили работу когда вместо списков стали использовать массивы.

Можешь в личку скинуть кусок этого кода? Интересно посмотреть.

 

[melutsk]

Есть пара идей.

Если тупит работа с базой, то сразу вопросы про наличие индексов и как написаны сами запросы.

Если тупит код, то вопрос по используемым классам.
Прохожу сейчас курс по C#, так там ментор приводил пример оптимизации: На несколько порядков ускорили работу когда вместо списков стали использовать массивы.

Можешь в личку скинуть кусок этого кода? Интересно посмотреть.

тут коды https://zennolab.com/discussion/threads/gde-mozhno-optimizirovat-rabotu-v-mnogopotoke-s-bd-i-ili-sam-mysql-server.68680/
индексы есть

 

[Шива]

регулярки в шабе есть?

 

[melutsk]

регулярки в шабе есть?

конечно есть) но затуп именно при работе со списками