Базы данных

[baracuda]

Всем привет.
Есть условие(условно для понимания)
Хотим мы сграбить сайт по недвижимости. со стандартными данными всё понятно, адрес, имя, телефон и.т.д.
Но есть данные к примеру изменение цены. кто то менял 2 раза а кто то 22 раза по определённым дням(хотелось бы иметь полную базу данных). у кого то 2 фоторафии а у кого то 22.

Интересует как создавать такие базы дынных и какими пользоваться лучше и легче.
Интересует простой пример и материалы доходчивые.

Заранее спасибо за ссылочки. и

 

[finista]

мой пример база 17 млн. записей, у каждой записи более 64 критериев, которые меняются постоянно, выбрал такое решение: 1 таблица - основные данные актуальные на данный момент, 2 - таблица: id первой таблицы, тип критерия, значение критерия, таймштам, стаутс.

в итоге могу выбрать по компании динамику по нужному критерию у компании

еще момент, таблиц конечно не 2, таблицы разбиты по первому символу ID, так скрипт сам сможет понять в какой таблице искать, получается очень быстро

 

[baracuda]

Интересно звучит вот этот топик
Но к сожалению и документация непростая в изучение. и примеров маловато..
Может есть что то похожее с хорошими примерами, уроками ?

 

[Phoenix78]

Всем привет.
Есть условие(условно для понимания)
Хотим мы сграбить сайт по недвижимости. со стандартными данными всё понятно, адрес, имя, телефон и.т.д.
Но есть данные к примеру изменение цены. кто то менял 2 раза а кто то 22 раза по определённым дням(хотелось бы иметь полную базу данных). у кого то 2 фоторафии а у кого то 22.

Интересует как создавать такие базы дынных и какими пользоваться лучше и легче.
Интересует простой пример и материалы доходчивые.

Заранее спасибо за ссылочки. и

под каждый динамичный критерий, заводиться отдельная таблица, в которой делается записи с учетом таймштампа. Связываются записи по первичному ключу из первой таблицы.

 

[WebBot]

mysql для этих целей отлично подходит

 

[baracuda]

Спасибо за намёки. тогда следуя вопросу. Когда то имел дело с недвижимостью, знаю на сколько большие данные там могут быть... берём json от яндекс. что бы прям чётко на примере.
есть портянка 35к строк... понятно что полезного там только строк 500 отформатированного json. остальное это мусор.

Может быть вычленять эти 500 строк. и хранить в одной ячейке. Но сразу возникает проблема фильтрации по параметрам. Как бы вы реализовали такие обьёмы данных? Пусть этой недвижимость будет 1кк строк. (будет ли "ворочиться" база данных с таким количество данных)

А вот портянка, как примерно выглядят данные. малая но самая важная часть инфы.
Когда то слышал что можно формировать как то виртуальные столбцы для фильтрации данных. но инфу такую не нагуглил. возможно плохо гуглил, или же всё таки по старинке. ковыряться и вычленять все параметры которые нужны. и раскладывать по таблицам.

В поисках самого оптимального и удачного решения. А главное что бы 100 велосипедов не изобретать! Уверен что есть изящные и красивые решения.

 

[Phoenix78]

Пусть этой недвижимость будет 1кк строк. (будет ли "ворочиться" база данных с таким количество данных)

 

[baracuda]

Понял. Ну тогда всё проще в разы.. выходит что объём информации не важен в строке, можно хоть войну и мир засунуть с ячейку . Спасибо .

 

[Deisler]

Спасибо за намёки. тогда следуя вопросу. Когда то имел дело с недвижимостью, знаю на сколько большие данные там могут быть... берём json от яндекс. что бы прям чётко на примере.
есть портянка 35к строк... понятно что полезного там только строк 500 отформатированного json. остальное это мусор.

Может быть вычленять эти 500 строк. и хранить в одной ячейке. Но сразу возникает проблема фильтрации по параметрам. Как бы вы реализовали такие обьёмы данных? Пусть этой недвижимость будет 1кк строк. (будет ли "ворочиться" база данных с таким количество данных)

А вот портянка, как примерно выглядят данные. малая но самая важная часть инфы.
Когда то слышал что можно формировать как то виртуальные столбцы для фильтрации данных. но инфу такую не нагуглил. возможно плохо гуглил, или же всё таки по старинке. ковыряться и вычленять все параметры которые нужны. и раскладывать по таблицам.

В поисках самого оптимального и удачного решения. А главное что бы 100 велосипедов не изобретать! Уверен что есть изящные и красивые решения.

Посмотреть вложение 94939

из полученного json регулярками вырезаешь нужные части от этого json и склеиваешь в один итоговый json ровно с той инфой. которая тебе нужна