MySQL загрузить большей объем данных

[LiMe]

Добрый день, подскажите пожалуйста есть большой текстовый файл на 5-10 млн. строк, нужно загрузить его в БД, сейчас выделаю подписок (беру по 1000 строк, чтобы освободить очередь обращения к файлу) и загружаю по одной почте, занимает это длительное время. Подскажите пожалуйста, как можно этот вопрос ускорить?

 

[doc]

в один запрос совать много строк

 

[LiMe]

В Zenno, это очень криво организовано, для каждой почты надо создавать отдельную переменную и сувать в запрос, нельзя грубо говоря подготовить почты для запроса и скопом их отправить. Может кто-то знает как это можно на C# сделать и может помочь?

 

[Mikhail B.]

Сразу скажу, что придется конфиги мускула повышать. А то от таких запросов может лечь по таймауту.

 

[doc]

В Zenno, это очень криво организовано, для каждой почты надо создавать отдельную переменную и сувать в запрос, нельзя грубо говоря подготовить почты для запроса и скопом их отправить. Может кто-то знает как это можно на C# сделать и может помочь?

глупости. Берёшь N почт, формируешь запрос. Суёшь его в кубик бд

 

[LiMe]

глупости. Берёшь N почт, формируешь запрос. Суёшь его в кубик бд

Я пытался реализовать подобным способом, мой запрос:

INSERT INTO
    `{-Variable.Table-}` (`{-Variable.Column-}`)
VALUES
    ({-Variable.Mail-})

В переменой Mail лежат почты с разделителем ),( т.е. чтобы по факту получился полноценный запрос, но в данном случае вылазит ошибка. Тыкните пожалуйста носом, что я не так сделал.

 

[Mikhail B.]

MySQL-5.6-x64

INSERT INTO `таблица`(`почта`, `пароль`) VALUES (?,?)

 

[LiMe]

MySQL-5.6-x64

INSERT INTO `таблица`(`почта`, `пароль`) VALUES (?,?)

Посмотреть вложение 38568

Примерно так и идет сейчас, но мы подставляем по одному значению и при таком объеме строк, это занимает длительное время. А грузить одним запросом хотя бы по 100 строк данных не получается через стандартный экшен, так как для каждого элемента нужна отдельная переменная для того чтобы указать ее в теле запроса.

 

[inilim]

Ставьте openserver.

 

[Mikhail B.]

Ставьте openserver.

2 млн построчно записывать будет очень долго. Тут скорей дело не в опенсервере, а самой логике обращения к БД.

 

[doc]

с бд кроме как через зенно есть возможность работать?

 

[capturis]

INSERT INTO tbl_name
    (a,b,c)
VALUES
    (1,2,3),
    (4,5,6),
    (7,8,9);

Гуглить надо sql, а не зенку. Из чего обращаться к базе разницы нету.

 

[doc]

INSERT INTO tbl_name
    (a,b,c)
VALUES
    (1,2,3),
    (4,5,6),
    (7,8,9);

Гуглить надо sql, а не зенку. Из чего обращаться к базе разницы нету.

оно понятно, но если у него есть пхпмайадмин, например, он может там сделать сформированный запрос и убедиься, что проблема именно в запросе, а не в зенно. Альтернатива для тестирования всегда быстрее помогает разобраться в чём дело

 

[capturis]

оно понятно, но если у него есть пхпмайадмин, например, он может там сделать сформированный запрос и убедиься, что проблема именно в запросе, а не в зенно. Альтернатива для тестирования всегда быстрее помогает разобраться в чём дело

Ну хз, если при такой задаче человек упоминает очередь обращения к файлу, видимо он воюет не туда. В этом случае надо показать ситаксис запроса, а не общие рекомендации, КМК.

 

[one]

с бд кроме как через зенно есть возможность работать?

Консоль. Только консоль... На обьемах.

 

[doc]

Консоль. Только консоль... На обьемах.

я спрашивал это не для реализации решения, а просто есть ли альтернатива для проверки запроса

 

[one]

я спрашивал это не для реализации решения, а просто есть ли альтернатива для проверки запроса

Не, ну ладно-ладно... Чего ты так категорично сразу...

 

[Шива]

А почему бы просто не сделать sql дамп и залить его?