70 мл строк

[Form]

Приветствую! Помогите с проблемой, есть список в 70мл строк, как с ним работать? После сбора никуда не сохраняет, никуда не переносит, всё время ему памяти не хватает (у меня 64 гб серверной оперативки), может подкинете идейку, а то я сам запарился

 

[lancerok]

Разделить список

 

[samsonnn]

Приветствую! Помогите с проблемой, есть список в 70мл строк, как с ним работать? После сбора никуда не сохраняет, никуда не переносит, всё время ему памяти не хватает (у меня 64 гб серверной оперативки), может подкинете идейку, а то я сам запарился

У вас изначально подход не верный! Если так много строк, то не собирайте все в один файл изначально. При добавлении строк в файл, сделайте проверку на ограничение, например 1 000 000 строк. За тем создавайте новый файл и уже туда собирайте следующий 1 000 000 строк и так далее. Ну а обрабатывать тоже поочередно, первый файл, за тем второй, третий и так далее... Вот как только измените подход и не будет проблем.

 

[Form]

Проблема в том, что потом нужно сравнить этот список строк с другим (более мелким, тысяч на 5) и выявить несоответствия

 

[Yuriy Zymlex]

Используйте базу данных, так проще и легче.

Но если что, с такими списками можно работать в C# через ограниченный буфер памяти, что правда увеличит время, но сделает работу адекватной.
Можно заказать в платном разделе, как вариант.

 

[finista]

Был опыт 50 млн. строк. Разделил на 100к. В много поток в базу данных. Каждому потоку свои 100к. Быстро получилось. Из базы потом быстрей делать выборки и др. ИИ подскажет как правильно индексы настроить.

 

[Sherminator]

Такой список в память грузить как будто бы жестко, наверно надо его потоково сначала в файл записать а потом так же потоково сравнивать. Типа каждые 100к строк в файл сохранять что бы в памяти всё не держать

var list = new List<string>(); // 100k строк типа

using var fs = new FileStream("output.txt", FileMode.Append, FileAccess.Write,
                              FileShare.None, 8192, FileOptions.SequentialScan);
using var writer = new StreamWriter(fs);

foreach (var line in list)
    writer.WriteLine(line);

 

[Form]

Простым языком, что мне сейчас делать, в списке 71 мл строк, куда мне его деть? Мне нужно чтобы он был цельным, иначе теряется смысл всей затеи
Увеличивать память нет смысла, проблема не в ней, куда хоть копать?

 

[Form]

Что нужно чтобы обрабатывать такие масcивы? У меня двухколовый 2699 v3, 64 серверной оперативки, но такой масив сохранить не может, выдаёт ошибку после 7 секунд

 

[Sherminator]

Простым языком, что мне сейчас делать, в списке 71 мл строк, куда мне его деть? Мне нужно чтобы он был цельным, иначе теряется смысл всей затеи
Увеличивать память нет смысла, проблема не в ней, куда хоть копать?

Сначала его надо сохранить, либо в файл способ как я выше написал, либо в БД как выше написали, после сохранения будем решать вопрос по обработке

 

[Form]

Сначала его надо сохранить, либо в файл способ как я выше написал, либо в БД как выше написали, после сохранения будем решать вопрос по обработке

Понял вас, сегодня уже поздно, завтра вернусь и пробну

 

[deukech]

я бы поставил какой-нибудь mysql workbench, запихал в бд всё это безобразие, и уже зенкой можно отправлять select из мелкого списка, но не все 5к сразу, думаю, по кускам.

 

[SRHTEDHJ]

Скачай и установи HeidiSQL потом экспортируй с текстового документа в таблицу

Сейчас с плюсом при установке этого клиента ставится локальный сервак mariadb, если этого не произойдет тогда установи плюсом https://mariadb.org/download