Удалить дубли в нескольких таблицах по одному столбцу

Mikhail B. · 09.05.2018

Решение!
Есть несколько таблиц с одинаковыми заголовками. Мне нужно удалить дубли между ними по определенному столбцу. Задача не простая. Какие есть идеи. Объединять таблицы не вариант.

doc · 09.05.2018

несколько это сколько? И как должен выглядеть результат?

Mikhail B. · 09.05.2018

doc написал(а):
несколько это сколько? И как должен выглядеть результат?

28 таблиц.

И еще 2 момент всплыл. Можно ли при наличии дублей удалять полностью строки (не оставляя оригинал).

doc · 09.05.2018

Mikhail B. написал(а):
28 таблиц.

И еще 2 момент всплыл. Можно ли при наличии дублей удалять полностью строки (не оставляя оригинал).

не знаю как стандартными, но через код, почему нет.Так как должен выглядеть результат?

Mikhail B. · 09.05.2018

doc написал(а):
не знаю как стандартными, но через код, почему нет.Так как должен выглядеть результат?

Есть 28 таблиц, между ними есть дубли. Мне надо их удалить что бы остались все теже 28 таблиц. И не просто дубли. А как правильно сказать то. Ну вот если нашел он 2 одинаковые строки в разных таблицах, то удалил их обе.

doc · 09.05.2018

Mikhail B. написал(а):
Есть 28 таблиц, между ними есть дубли. Мне надо их удалить что бы остались все теже 28 таблиц. И не просто дубли. А как правильно сказать то. Ну вот если нашел он 2 одинаковые строки в разных таблицах, то удалил их обе.

ну ты попал)

Mikhail B. · 09.05.2018

doc написал(а):
ну ты попал)

Ну хотя бы просто дубли удалить можно?
По любому на костылях решение должно быть какое-то. Я не прошу красиво на шарпе, мне пофигу, лишь бы результат был.

doc · 09.05.2018

Тебе надо на вход дать 28 путей к таблицам. Создать массив, который будет содержать 28 элементов, каждый из которых будет списком, отвечающим за таблицу, а элементами списка будут массивы ячеек строк. Перебрать эти 28 строк в цикле, поочерёдно привязываю таблицы к зенновской таблице проекта, и перенести данные в этот основной массив.

Это всё на случай, если из зенно из кода нельзя создавать таблицы (вроде как нельзя). Если можно, то нам нужен массив таблиц,это было бы проще.

Потом тебе нужно замутить тройной цикл. 1й цикл будет гнать от 0 до 28-1, отвечает за текущую таблицу. 2й цикл будет гнать от индекса 1го цикла +1, до 28, он будет отвечать за таблицу, с которой будет происходить сравнение. 3й цикл будет гнать по строкам таблицы 1го цикла, 4й по строкам таблицы 2го цикла.

В общем звучит непонятно, на деле будет ещё хуже, удачи)

Mikhail B. · 09.05.2018

doc написал(а):
Тебе надо на вход дать 28 путей к таблицам. Создать массив, который будет содержать 28 элементов, каждый из которых будет списком, отвечающим за таблицу, а элементами списка будут массивы ячеек строк. Перебрать эти 28 строк в цикле, поочерёдно привязываю таблицы к зенновской таблице проекта, и перенести данные в этот основной массив.

Это всё на случай, если из зенно из кода нельзя создавать таблицы (вроде как нельзя). Если можно, то нам нужен массив таблиц,это было бы проще.

Потом тебе нужно замутить тройной цикл. 1й цикл будет гнать от 0 до 28-1, отвечает за текущую таблицу. 2й цикл будет гнать от индекса 1го цикла +1, до 28, он будет отвечать за таблицу, с которой будет происходить сравнение. 3й цикл будет гнать по строкам таблицы 1го цикла, 4й по строкам таблицы 2го цикла.

В общем звучит непонятно, на деле будет ещё хуже, удачи)

Какой ужас

Смотри а если например взять все таблицы, и в конце каждой добавить строку метку. потом их все собрать в одну, удалить дубли и по этой метке разложить обратно. по моему так будет проще чем в зенке этот треш мутить))

doc · 09.05.2018

Mikhail B. написал(а):
Какой ужас
Смотри а если например взять все таблицы, и в конце каждой добавить строку метку. потом их все собрать в одну, удалить дубли и по этой метке разложить обратно. по моему так будет проще чем в зенке этот треш мутить))

по идее. норм вариант

orka13 · 09.05.2018

Mikhail B. написал(а):
Какой ужас
Смотри а если например взять все таблицы, и в конце каждой добавить строку метку. потом их все собрать в одну, удалить дубли и по этой метке разложить обратно. по моему так будет проще чем в зенке этот треш мутить))

вот вот, я только хотел это написать.

doc · 09.05.2018

единственной, 1й дубль так не удалится

orka13 · 09.05.2018

doc написал(а):
единственной, 1й дубль так не удалится

Тогда такой алгоритм C#:
1. Клеим в 1 таблицу все ( с метками в отдельном столбце).
2. По очереди берем каждую ячейку нужного стобца, в котором надо находить дубли.
3. Ищем в цикле по всей таблице (начиная от номера этой активной строки и до конца таблицы) сколько раз встречается эта ячейка.
4. Если встречается > 1 раза, то удаляем все строки с ней.
5. Двигаемся дальше до конца.

6. Собираем все обратно в отдельные таблицы.

Mikhail B. · 09.05.2018

doc написал(а):
единственной, 1й дубль так не удалится

Ну возможно в екселе можно так удалить. Надо уточнить этот момент.

orka13 написал(а):
Тогда такой алгоритм C#:
1. Клеим в 1 таблицу все ( с метками в отдельном столбце).
2. По очереди берем каждую ячейку нужного стобца, в котором надо находить дубли.
3. Ищем в цикле по всей таблице (начиная от номера этой активной строки и до конца таблицы) сколько раз встречается эта ячейка.
4. Если встречается > 1 раза, то удаляем все строки с ней.
5. Двигаемся дальше до конца.

6. Собираем все обратно в отдельные таблицы.

Ага только в шарпе я не очень)) Кубы решают )))

Шива · 09.05.2018

В таблицах одинаковое количество столбцов?

orka13 · 09.05.2018

Mikhail B. написал(а):
Ну возможно в екселе можно так удалить. Надо уточнить этот момент.
Ага только в шарпе я не очень)) Кубы решают )))

Поиск и предложение услуг по созданию шаблонов
Хотя думаю до вечера кто-то на коленке склепает и поделится решением.

Mikhail B. · 09.05.2018

Шива написал(а):
В таблицах одинаковое количество столбцов?

Да.

orka13 написал(а):
Поиск и предложение услуг по созданию шаблонов
Хотя думаю до вечера кто-то на коленке склепает и поделится решением.

Ну посмотрим =)

Шива · 09.05.2018

Это можно сделать средствами екселя

Шива · 09.05.2018

Склеиваешь все файлы в 1.
В екселе в условном форматировании подсвечиваешь уникальные строки в столбце.
Раскидываешь обратно по файлам.
Потом ищешь как удалить помеченные строки.

Mikhail B. · 09.05.2018

Шива написал(а):
Склеиваешь все файлы в 1.
В екселе в условном форматировании подсвечиваешь уникальные строки в столбце.
Раскидываешь обратно по файлам.
Потом ищешь как удалить помеченные строки.

Вот уже ситуация проясняется)

Мирон · 09.05.2018

Код:

var list2 = list1.GroupBy(x => x)
                            .Where(group => group.Count() == 1)
                                .Select(group => group.Key).ToList();

Так работает с List, удаляет и дубликат и оригинал.

Vlad_Curnoi · 09.05.2018

Стартовые данные чьи дубли ищем в 1 таблице или же в каждой?
Например в таблице 1 есть вася в 3 строке,в таблице 5 он тоже есть значит удаляем из этих таблиц.Или же старт может быть в любой таблице?
Сформулируй последовательность действий словами.
Или должно сначала с первой таблици все строки взять по очереди и проверить в других таблицах,потом со второй взять все и т.д.?

Mikhail B. · 09.05.2018

Мирон написал(а):
Код:

var list2 = list1.GroupBy(x => x) .Where(group => group.Count() == 1) .Select(group => group.Key).ToList();

Так работает с List, удаляет и дубликат и оригинал.

Строковые дубли меня не интересуют. Мне надо удалять дубли в колонках.

Vlad_Curnoi написал(а):
Стартовые данные чьи дубли ищем в 1 таблице или же в каждой?
Например в таблице 1 есть вася в 3 строке,в таблице 5 он тоже есть значит удаляем из этих таблиц.Или же старт может быть в любой таблице?
Сформулируй последовательность действий словами.
Или должно сначала с первой таблици все строки взять по очереди и проверить в других таблицах,потом со второй взять все и т.д.?

Дубли могут быть во всех таблицах. Я хз как еще сформулировать. Вася есть во всех таблицах, может и не быть. Если Вася это дубль, то мы удаляем его со всех таблиц. Если дубли Васи не найдены, то оставляем его в той таблице в которой он был изначально. Все строки остаются на своих местах.

Vlad_Curnoi · 09.05.2018

Mikhail B. написал(а):
Строковые дубли меня не интересуют. Мне надо удалять дубли в колонках.

Дубли могут быть во всех таблицах. Я хз как еще сформулировать. Вася есть во всех таблицах, может и не быть. Если Вася это дубль, то мы удаляем его со всех таблиц. Если дубли Васи не найдены, то оставляем его в той таблице в которой он был изначально. Все строки остаются на своих местах.

Всегда в 1 столбце ищем?Если нашли то удаляем всю строку?

Mikhail B. · 09.05.2018

Vlad_Curnoi написал(а):
Всегда в 1 столбце ищем?Если нашли то удаляем всю строку?

Ну да в одном. Столбец телефоны, всегда в нем телефоны.
Строку всю обязательно иначе таблица сместится.

Но хотелось бы иметь возможность по другому столбцу пройтись тоже.

@Vlad_Curnoi Просто так спросил или хочешь меня обрадовать?))

Vlad_Curnoi · 09.05.2018

Mikhail B. написал(а):
Ну да в одном. Столбец телефоны, всегда в нем телефоны.
Строку всю обязательно иначе таблица сместится.

Но хотелось бы иметь возможность по другому столбцу пройтись тоже.

@Vlad_Curnoi Просто так спросил или хочешь меня обрадовать?))

Да вот задачка интересная,вот думаю как вариант 2 таблицы создать,их привязвыать по очереди к файлу,после искать.Не пойму зачем куча таблиц если данные похожи?

Mikhail B. · 09.05.2018

Vlad_Curnoi написал(а):
Да вот задачка интересная,вот думаю как вариант 2 таблицы создать,их привязвыать по очереди к файлу,после искать.Не пойму зачем куча таблиц если данные похожи?

Данные разные, но я где-то косячнул и данные записались не туда куда нужно. И теперь надо их удалить. Вроде даже строки одинаковые, может тогда строками можно почистить дубли если так не получается. Создавать таблицы новые я не хочу я уже и так руками провозился много с ними, что бы привести в приемлемый вид, осталось только с дублями разобраться и все.

dr1veq · 10.05.2018

http://zennolab.com/discussion/threads/udalit-dubli-v-neskolkix-tablicax-po-odnomu-stolbcu.48561/

Mikhail B. написал(а):
Строковые дубли меня не интересуют. Мне надо удалять дубли в колонках.

Так запихните колонку в список, создайте класс для листа с индексом таблицы и поудаляйте дубли, залейте назад по таблицам. Порядок строк должен сохраниться?

ssXXXss · 10.05.2018

dr1veq написал(а):
http://zennolab.com/discussion/threads/udalit-dubli-v-neskolkix-tablicax-po-odnomu-stolbcu.48561/

Так запихните колонку в список, создайте класс для листа с индексом таблицы и поудаляйте дубли, залейте назад по таблицам. Порядок строк должен сохраниться?

пример в студию )

dr1veq · 10.05.2018

ssXXXss написал(а):
пример в студию )

Код:

    class OurTables
    {
        public string Column { get; set; }
        public string Index { get; set; }
    }



List<OurTable> list1= new List<OurTable>();

var list2 = list1.GroupBy(x => x.Column)
                            .Where(group => group.Count() == 1)
                                .Select(group => new { Column = group.Key, Index = group.Select(x=>x.Index).ToList()[0] }).ToList();

в класс добавить нужные Вам элементы, удалить дубли в столбце, индекс - это номер таблицы, после удаления всех дублей назад в таблицу. Для работы с эксель есть ClosedXML, там все просто и быстро.

Удалить дубли в нескольких таблицах по одному столбцу

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Пользователь

Client

Пользователь

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)