Помогите увеличить скорость обработки таблиц)

[Art4D]

Есть две таблицы, одна загружается из файла(без редактирования), вторая создается и наполняется в проекте.
Вот код, которым я пользуюсь, обрабатывает вторую таблицу, в среднем за ~400мс, для меня это много(, есть идеи как оптимизировать код?
WTable - таблица из которой берем данные
sourceTable - таблица, которую мы обрабатываем (редактируем)

var sourceTable = project.Tables["tabl"];
var WTable = project.Tables["Wtable"];
var a = true;
    for(int i = sourceTable.RowCount-1; i>=0; i--)
    {
        string name = sourceTable.GetCell("A", i);
        for(int j=0; j < WTable.RowCount; j++)
    {
        string Wname = WTable.GetCell("A", j);
        if (name==Wname)
        {
            a = false;
            break;
        }
        a=true;
    }
    if (a==true)
    sourceTable.DeleteRow(i);
    }

 

[Art4D]

UPD. Заменил Wtable на список из данных A столбца и сниппет стал обрабатываться за ~30мс.
Если кто-нибудь, что-то знает по оптимизации обработки таблиц/списков, то напишите свои советы в эту тему, пожалуйста.
Может еще можно что-то сделать?

 

[amyboose]

UPD. Заменил Wtable на список из данных A столбца и сниппет стал обрабатываться за ~30мс.
Если кто-нибудь, что-то знает по оптимизации обработки таблиц/списков, то напишите свои советы в эту тему, пожалуйста.
Может еще можно что-то сделать?

Совет простой: не использовать таблицу вообще, все данные хранить в коллекции массива/стека и использовать многопоточность при обработке.
И это все реально, я в своих проектах ни разу не пользовался таблицей, так как в ней вообще нету необходимости никакой, кроме как использование их в качестве сохранения как Excel документ или DataSet для БД

 

[arhip1985]

если со списками, то здесь http://zennolab.com/discussion/threads/skolko-strok-iz-spiska-zenka-mozhet-perevarit-ne-podavivshis.36982/ предложили отличный вариант, хотя 30 мс - это же итак мало, в 1с вроде 1000мс

 

[Art4D]

массива/стека

меня пугают эти слова ((

Как вообще создать массив, который будет храниться в шаблоне?
Я очень плохо знаю C#((
Где можно почитать как применить в зенке, то о чем ты говоришь?

 

[arhip1985]

Совет простой: не использовать таблицу вообще, все данные хранить в коллекции массива/стека и использовать многопоточность при обработке.
И это все реально, я в своих проектах ни разу не пользовался таблицей, так как в ней вообще нету необходимости никакой, кроме как использование их в качестве сохранения как Excel документ или DataSet для БД

так в стеке вроде как большой массив не сохранишь, а в массив не добавишь новые элементы и не удалишь, добавить и удалить то конечно можно - если перезаписывать массив, но так это же то же самое что List получится. не знаю, разве увиличится при этом скорость - надо же всё равно в цикле проходить каждую ячейку и заносить в отдельный массив каждый столбец, или какая логика? за счёт чего будет ускорение? каких таких операций не будет, какие есть при обработке List ?

 

[amyboose]

меня пугают эти слова ((

Как вообще создать массив, который будет храниться в шаблоне?
Я очень плохо знаю C#((
Где можно почитать как применить в зенке, то о чем ты говоришь?

Походу насчет этого надо бы написать конкурсную тему, а то так и будут все пользоваться таблицами ещё очень долго.

так в стеке вроде как большой массив не сохранишь, а в массив не добавишь новые элементы и не удалишь, добавить и удалить то конечно можно - если перезаписывать массив, но так это же то же самое что List получится. не знаю, разве увиличится при этом скорость - надо же всё равно в цикле проходить каждую ячейку и заносить в отдельный массив каждый столбец, или какая логика? за счёт чего будет ускорение? каких таких операций не будет, какие есть при обработке List ?

Есть коллекция под названием Stack, работает она по принципу LIFO (Last in first out - последний пришел, первый ушел) и противоположность ей - Queue - очередь, в них хранятся ссылки на элементы (в стеке потока), а сами элементы хранятся на куче.
Вкратце пример заготовки будет выглядить так:

public sealed class Work
    {
        public static Stack<TestElement> st_elem1 = new Stack<TestElement>(1024);
        public static Stack<TestElement> st_elem2 = new Stack<TestElement>(1024);
    }

    public sealed class TestElement
    {
        string Item1 { get; set; }
        int Item2 { get; set; }
        bool Item3 { get; set; }

        public TestElement(string item1, int item2, bool item3)
        {
            this.Item1 = item1;
            this.Item2 = item2;
            this.Item3 = item3;
        }
    }

Остается только добавлять/удалять элементы при необходимости, а также можно легко сравнивать их. Но для полноценной работы нужно знать полностью какого типа переменные надо хранить, сколько их
Добавлять элемент можно из кубика таким образом:

st_elem1.Push(new TestElement("test", 11, true));

 

[Nick]

Автор, так у вас же в коде написано, что из исходной таблицы строки удаляются: sourceTable.DeleteRow(i);
Если вам нужна скорость, то таблицу отвязывайте от файла, пусть она в памяти обрабатывается. При желании в самом конце сохраняйте её на диск.

 

[doc]

Автор, так у вас же в коде написано, что из исходной таблицы строки удаляются: sourceTable.DeleteRow(i);
Если вам нужна скорость, то таблицу отвязывайте от файла, пусть она в памяти обрабатывается. При желании в самом конце сохраняйте её на диск.

она в любом случае обрабатывается в памяти

 

[Dimionix]

она в любом случае обрабатывается в памяти

Именно! Привязка на скорость обработки никак не влияет.

 

[Nick]

она в любом случае обрабатывается в памяти

...но не в любом случае идёт синхронизация с диском, который медленнее памяти в 100 раз

 

[doc]

...но не в любом случае идёт синхронизация с диском, который медленнее памяти в 100 раз

это происходит не после каждой операции

 

[Art4D]

...но не в любом случае идёт синхронизация с диском, который медленнее памяти в 100 раз

sourceTable в моем случае вообще не привязана к файлу, она в проекте создается (без привязки к файлу), я плохо в первом посте описал просто(
Просто таблицы из зенно, работают очень очень медленно, даже если, они обрабатываются в памяти.