Сколько строк из списка Зенка может переварить не подавившись?

[masterLomaster]

Прокосячил и загнал в список 5 милионов строк, Зенка обработать такое не смогла, добрый и надежный нотпад++ только смог такое осилить, пришлось в ручную разбивать на более мелкие файлы.
Методом тестов дошел до 500000 строк в списке и Зенка с усером кое как смогла осилить такой объем, хотябы смогла работать с таким файлом!
Нужно было вычистить мусор из этого общего файла, нужно удалить 200 тысяч строк, пробовал снипетом, сразу Зенка зависает.
Вопрос, какой объем текстового файла можно безболезненно кормить Зенке?

 

[amyboose]

При желании можно считать хоть 1 гиг, главное правильно код написать.
Плюс массив использовать лучше, чем лист

 

[masterLomaster]

При желании можно считать хоть 1 гиг, главное правильно код написать.
Плюс массив использовать лучше, чем лист

спросил же не что использовать ))) а конкретно у меня сейчас в текстовом файле, хочу знать сколько оптимально чтобы Зенка на колени не вставала! С 5 миллионов строк она захлебнулась аж сопли потекли!

 

[agregator]

это ты еще многопоток не пробывал

 

[arhip1985]

от оперативки зависит

 

[amyboose]

спросил же не что использовать ))) а конкретно у меня сейчас в текстовом файле, хочу знать сколько оптимально чтобы Зенка на колени не вставала! С 5 миллионов строк она захлебнулась аж сопли потекли!

Я 10 млн строк спокойно открывал.
Вот пример кода:

string[] mass_text = File.ReadAllLines(путь);

 

[masterLomaster]

Я 10 млн строк спокойно открывал.
Вот пример кода:

string[] mass_text = File.ReadAllLines(путь);

у меня открыть то его зенка открыла а обрабатывать начала и чтото совсем отзыватся перестала! Хотя может она работала, а я просто непонял.
Сейчас разбил по 50к строк запустил снипетом вычищать мусор он 100к строк проверяет и вычищает из этих файлов, со скрипом работает, гдето по минуты 2-3 уходит на обработку одного файла в 50к строк.

 

[masterLomaster]

от оперативки зависит

оперативки хватает 50% еле жрет.

 

[amyboose]

Для очистки мусора есть функция ReadLine, она не загружает весь объем, а загружает частично, плюс есть возможность использовать FileStream + BinaryReader и считывать по строкам

 

[Adigen]

у меня открыть то его зенка открыла а обрабатывать начала и чтото совсем отзыватся перестала! Хотя может она работала, а я просто непонял.
Сейчас разбил по 50к строк запустил снипетом вычищать мусор он 100к строк проверяет и вычищает из этих файлов, со скрипом работает, гдето по минуты 2-3 уходит на обработку одного файла в 50к строк.

Так у вас затык не в размере открытого файла, а в коде самой обработки получается.

 

[masterLomaster]

Так у вас затык не в размере открытого файла, а в коде самой обработки получается.

да нет, сейчас разбил по 50 к строк и проверяю из другого файла 200к строк на совпадения и кое как со скрежетом.
этим снипетом делаю

var firstList = project.Lists["Список 1"];
var secondList = project.Lists["Список 2"];
lock(SyncObjects.ListSyncer)
{
    for(int i=0; i < firstList.Count; i++)
    {
        var str1 = firstList[i];
        for(int j=secondList.Count-1; j >= 0; j--)
        {
               var str2 = secondList[j];
            if (str1==str2)
            {
                secondList.RemoveAt(j);
            }   
        }   
    }
}

 

[arhip1985]

не знаю насколько увеличится производительность, но попробуй вариант без создания переменных в цикле, просто сравнивай

firstList[i]==secondList[j]

 

[Adigen]

да нет, сейчас разбил по 50 к строк и проверяю из другого файла 200к строк на совпадения и кое как со скрежетом.
этим снипетом делаю

var firstList = project.Lists["Список 1"];
var secondList = project.Lists["Список 2"];
lock(SyncObjects.ListSyncer)
{
    for(int i=0; i < firstList.Count; i++)
    {
        var str1 = firstList[i];
        for(int j=secondList.Count-1; j >= 0; j--)
        {
               var str2 = secondList[j];
            if (str1==str2)
            {
                secondList.RemoveAt(j);
            } 
        } 
    }
}

Он со скрежетом на больших файлах работать и будет, да еще и в один поток только.

Замените код на такой, будет намного быстрее обрабатывать:

string[] first = File.ReadAllLines(@"c:\file1.txt");
string[] second = File.ReadAllLines(@"c:\file2.txt");
string[] third = second.AsParallel().Except(first.AsParallel()).ToArray();
File.WriteAllLines(@"c:\file2.txt", third);

Дальше, для ускорения, надо делать оптимизацию исходя из конкретики.

 

[masterLomaster]

@Adigen ЁПРСТ все так просто? Я то сидел тут пыхтел, а тут закинул твой скрипт и он за секунду весь список отработал, я вахуэ!)))
Спасибо @Adigen!

 

[ZennoScript]

То то и оно!
Тут больше зависит не от объёмов файлов и данных, а от подхода к их обработке.

Когда то давно была задача - получал пару миллионов строк в один список и нужно было в нём оставить уникальные, которых нет во втором списке(сколько было в нём даже не знаю, но на много больше. Вес файла был больше гига).
В итоге такого рода код, как собрал masterLomaster проверял больше суток, но знающий человек помог с кодом и уже та же самая операция выполнялась не более 3х минут.
Всё то же самое - компьютер, файлы, программа. Разница лишь в подходе.

 

[masterLomaster]

То то и оно!

Это да )))

Разница лишь в подходе.

и когда руки откуданада )))

Обычно я такие большие файлы не делаю, так как уже раз накидал в .csv файл пару гигов, потом его открыть ничем вообще не мог. Но тут просмотрел, ну и почемуто у меня мысль была что Зенка справится - это же "ОБЫЧНЫЙ" текстовый файл! Ага только, чтото не так шустро у меня вышло )))

 

[arhip1985]

Он со скрежетом на больших файлах работать и будет, да еще и в один поток только.

Замените код на такой, будет намного быстрее обрабатывать:

string[] first = File.ReadAllLines(@"c:\file1.txt");
string[] second = File.ReadAllLines(@"c:\file2.txt");
string[] third = second.AsParallel().Except(first.AsParallel()).ToArray();
File.WriteAllLines(@"c:\file2.txt", third);

Дальше, для ускорения, надо делать оптимизацию исходя из конкретики.

хитро) зачем запускать многопоток, если есть AsParallel() . хотя это тоже самое, насколько я понял

 

[Adigen]

хитро) зачем запускать многопоток, если есть AsParallel() . хотя это тоже самое, насколько я понял

Не совсем, как обычно, есть ньюансы, но в данной задаче при данном количестве вводных, да - это один из оптимальных вариантов, который будет максимально оптимизирован при компиляции, и при этом использовать ядра по максимуму.

 

[Valiksim]

хитро) зачем запускать многопоток, если есть AsParallel() . хотя это тоже самое, насколько я понял

Как понять что этот AsParallel() делает и как?

 

[amyboose]

Как понять что этот AsParallel() делает и как?

Да запускает в одном инстансе многопоточную обработку коллекции в том количестве потоков, сколько у тебя ядер ЦП

 

[WEISS]

Он со скрежетом на больших файлах работать и будет, да еще и в один поток только.

Замените код на такой, будет намного быстрее обрабатывать:

string[] first = File.ReadAllLines(@"c:\file1.txt");
string[] second = File.ReadAllLines(@"c:\file2.txt");
string[] third = second.AsParallel().Except(first.AsParallel()).ToArray();
File.WriteAllLines(@"c:\file2.txt", third);

Дальше, для ускорения, надо делать оптимизацию исходя из конкретики.

А со списками как будет выглядеть код?

 

[Valiksim]

Да запускает в одном инстансе многопоточную обработку коллекции в том количестве потоков, сколько у тебя ядер ЦП

У меня, например, 4 ядра, значит, всего 4 потока? маловато как-то. Слышал, что есть возможность как-то распараллелить в 1000 потоков. Не знаю как? Думал тут можно задавать количество

 

[amyboose]

У меня, например, 4 ядра, значит, всего 4 потока? маловато как-то. Слышал, что есть возможность как-то распараллелить в 1000 потоков. Не знаю как? Думал тут можно задавать количество

Можно, но эффекта от этого не будет практически никакого.

 

[Valiksim]

Можно, но эффекта от этого не будет практически никакого

Но как-то работают в сотни и 1000 потоков, задавая их из кода. Вот хотелось бы знать как?

 

[amyboose]

Но как-то работают в сотни и 1000 потоков, задавая их из кода. Вот хотелось бы знать как?

просто дописывают после AsParallel() код WithDegreeOfParallelism(1000)

 

[arhip1985]

Но как-то работают в сотни и 1000 потоков, задавая их из кода. Вот хотелось бы знать как?

просто дописывают после AsParallel() код WithDegreeOfParallelism(1000)

а разве не так - написать выполнение шаблона через запуск одной фнукции и запускать функцию через new Thread(функция с шагами шаблона), столько раз сколько установишь

 

[Dimionix]

Но как-то работают в сотни и 1000 потоков, задавая их из кода. Вот хотелось бы знать как?

http://zennolab.com/discussion/threads/parallelnye-zaprosy.19609/

 

[amyboose]

а разве не так - написать выполнение шаблона через запуск одной фнукции и запускать функцию через new Thread(функция с шагами шаблона), столько раз сколько установишь

В многопоточности есть десятки способов запустить потоки - через Thread, Task, async Task, Parallel.For, Parallel.Foreach, Parallel.Invoke, Thread.Pool, IAsyncResult, PLINQ, 2 основных вида Timer и ещё парочку.
У каждого способа свои плюсы и минусы и про каждый способ можно целую большую статью написать

 

[Valiksim]

В многопоточности есть десятки способов запустить потоки - через Thread, Task, async Task, Parallel.For, Parallel.Foreach, Parallel.Invoke, Thread.Pool, IAsyncResult, PLINQ, 2 основных вида Timer и ещё парочку.

Ого... много всего. Дня 3 уйдёт на изучение...

У каждого способа свои плюсы и минусы и про каждый способ можно целую большую статью написать

Вот, есть повод поучаствовать в "конкурсе лучших", заодно и народ просветить

 

[amyboose]

Ого... много всего. Дня 3 уйдёт на изучение...
Вот, есть повод поучаствовать в "конкурсе лучших", заодно и народ просветить

3 месяца скорее уйдет, а не 3 дня, так как это вершина айсберга. Врятли кто-то освоит такой объем материала, а делать статью на конкурсе особого смысла нету, тем более в книгах уже давно все разжевано.