Очистка базы по фильтру

[xatchikzzz]

Подскажите есть 2 файла ... База1 и База2

Нужно из базы2 удалить все строки которые есть в БАЗА1 ... как это можно сделать

в каждой базе примерно по 5 лямов строк ...

Пробовал через работу со списками и удалением по содержанию ... это просто капец как долго .... файлы по 300 мегабайт очень долллго обрабатываются .. може т есть какой бо более быстрый вариант .. кто подскажет ??

 

[Ilshakin]

можно, конечно заморочиться с тайм-бечмарками и подобрать самый оптимальный метод распараллеливания для твоей задачи,
но если честно - лень
может кто из ребят подкинет классную реализацию, пока так:

File.WriteAllLines(@"C:\Users\Sleep\Desktop\База2.txt", (File.ReadAllLines(@"C:\Users\Sleep\Desktop\База2.txt").AsParallel().Except(File.ReadAllLines(@"C:\Users\Sleep\Desktop\База1.txt").AsParallel())));

 

[xatchikzzz]

можно, конечно заморочиться с тайм-бечмарками и подобрать самый оптимальный метод распараллеливания для твоей задачи,
но если честно - лень
может кто из ребят подкинет классную реализацию, пока так:

File.WriteAllLines(@"C:\Users\Sleep\Desktop\База2.txt", (File.ReadAllLines(@"C:\Users\Sleep\Desktop\База2.txt").AsParallel().Except(File.ReadAllLines(@"C:\Users\Sleep\Desktop\База1.txt").AsParallel())));

Вообще крктяк )) а главное быстро ... хз конечно на точность но это пушка )

 

[xatchikzzz]

можно, конечно заморочиться с тайм-бечмарками и подобрать самый оптимальный метод распараллеливания для твоей задачи,
но если честно - лень
может кто из ребят подкинет классную реализацию, пока так:

File.WriteAllLines(@"C:\Users\Sleep\Desktop\База2.txt", (File.ReadAllLines(@"C:\Users\Sleep\Desktop\База2.txt").AsParallel().Except(File.ReadAllLines(@"C:\Users\Sleep\Desktop\База1.txt").AsParallel())));

подскажи такой момент .. а как можно сделать что есть база 1 - и есть база 2 ...... нужно оставить в база 1 только те строки которые есть в База 2.... можно такое сделать??

 

[Sardol]

Подскажите есть 2 файла ... База1 и База2

Нужно из базы2 удалить все строки которые есть в БАЗА1 ... как это можно сделать

в каждой базе примерно по 5 лямов строк ...

Пробовал через работу со списками и удалением по содержанию ... это просто капец как долго .... файлы по 300 мегабайт очень долллго обрабатываются .. може т есть какой бо более быстрый вариант .. кто подскажет ??

https://zennolab.com/discussion/threads/samoe-bystroe-sravnenie-dvux-spiskov.42276/post-313788

Работает очень быстро.

 

[xatchikzzz]

https://zennolab.com/discussion/threads/samoe-bystroe-sravnenie-dvux-spiskov.42276/post-313788

Работает очень быстро.

списки очень большие и по частям не пойдет сравнивать... нужно одним списком.. размер списка 35-50 гигов ...

 

[Sardol]

В первом посте написано

в каждой базе примерно по 5 лямов строк ...

Пробовал через работу со списками и удалением по содержанию ... это просто капец как долго .... файлы по 300 мегабайт

списки очень большие и по частям не пойдет сравнивать... нужно одним списком.. размер списка 35-50 гигов ...

Попробуй целые файлы, не разбивая. У меня таких больших файлов нет, но файл на 10-15КК строк обрабатывает за пару секунд.

 

[Ilshakin]

подскажи такой момент .. а как можно сделать что есть база 1 - и есть база 2 ...... нужно оставить в база 1 только те строки которые есть в База 2.... можно такое сделать??

воспользоваться обратным методом (.Intersect) от метода .Except, поменяв очередность файлов
только нужно правильный параметр подобрать для StringComparer, ибо не знаю, какой вид имеют твои строки

File.WriteAllLines(@"C:\Users\Sleep\Desktop\1.txt", (File.ReadAllLines(@"C:\Users\Sleep\Desktop\1.txt").AsParallel().ToList().Intersect(File.ReadAllLines(@"C:\Users\Sleep\Desktop\2.txt"), StringComparer.InvariantCultureIgnoreCase).AsParallel()));

размер списка 35-50 гигов ...

наверное, в этом случае - лучше уже БД использовать...

 

[xatchikzzz]

воспользоваться обратным методом (.Intersect) от метода .Except, поменяв очередность файлов
только нужно правильный параметр подобрать для StringComparer, ибо не знаю, какой вид имеют твои строки

File.WriteAllLines(@"C:\Users\Sleep\Desktop\1.txt", (File.ReadAllLines(@"C:\Users\Sleep\Desktop\1.txt").AsParallel().ToList().Intersect(File.ReadAllLines(@"C:\Users\Sleep\Desktop\2.txt"), StringComparer.InvariantCultureIgnoreCase).AsParallel()));

наверное, в этом случае - лучше уже БД использовать...

чет ему не хватило...

 

[Ilshakin]

Посмотреть вложение 96480

чет ему не хватило...

памяти

 

[traffman]

Посмотреть вложение 96480

чет ему не хватило...

Если не обязательно в зенке, вот попробуй софтину
http://vizbe.byethost10.com/myprogram.html#bvsCrossOut