какую БД посоветуете?

[nik-n]

какие БД кто посоветует использовать для работы с очень большим объемом данных.
что бы хранить json массивы например, быстро находить нужный, и по нему быстро получать нужные данные.
требуется парсить, хранить и проводить аналитику по миллионам строк.
умею только mysql и то на начальном уровне, даже не читал ничего про нее, так команды выучил и кубики в zenno юзаю, всех прелестей типа "индексы" не знаю.
или как можно оптимизировать, ускорить работу? что почитать?
отдельный вопрос: бывают ли какие то БД работающие прямо из оперативной памяти?

 

[Ахилес]

отдельный вопрос: бывают ли какие то БД работающие прямо из оперативной памяти?

Создание временных таблиц в MySQL

Временные таблицы используются для хранения промежуточных данных при сложных выборках из БД, например при большом количестве JOIN и UNION запросов.

snipp.ru

 

[ZULI]

бывают ли какие то БД работающие прямо из оперативной памяти?

Redis. The open-source, in-memory data store used by millions of developers as a cache, vector database, document database, streaming engine, and message broker...

 

[Boo]

Для не структурированного json удобно работать с MongoDB,
если есть постоянная структура, то удобнее PostgreSQL.
В оперативке можно загружать MongoDB и как выше писали Redis.
У Redis для json есть модуль RedisJSON.

 

[indigo666]

какие БД кто посоветует использовать для работы с очень большим объемом данных.

Работаю с mysql, сотни миллионов строк и вроде бы не натыкался на проблемы. Главное индексы поставить на те столбцы по которым будете делать выборки. Тогда будет работать быстро и безотказно )

 

[Patcher]

Работаю с mysql

Полностью поддерживаю. При определенной сноровке можно вынести на внешний сервер и дописать CRUD для удобства контроля и визуализации состояния БД

 

[indigo666]

Полностью поддерживаю. При определенной сноровке можно вынести на внешний сервер и дописать CRUD для удобства контроля и визуализации состояния БД

Да я почти так и сделал ) Данные туда передаются в виде массивов и получаются в виде массивов. Очень удобно. Единственное, сервер не внешний