Дубли

[Turbina]

Как удалять такие дубли, что бы оставался один первый вариант?

Слово
СЛОВО
слово

 

[ovsergeyev]

Как вариант через список. А сначала обработка текста toLower. Если слова нет в списке заносится туда и является первым вариантом. Если слово есть в списке значит это дубль.

 

[orka13]

через попу:
добавляем в зено-таблицу в виде [Слово1;слово1 в нижнем регистре]:

Слово;слово
СЛОВО;слово
слово;слово

потом тупо кубиком удаляем дубли по содержанию второго столбца. А первый столбец сохраняем в список.

 

[Koqpe]

Можно так:

Но слова будут в нижнем регистре.

 

[Dimionix]

Для переменной

string text = project.Variables["text"].Value;
var res = text
    .Split(new[] { Environment.NewLine }, StringSplitOptions.RemoveEmptyEntries)
    .AsParallel().AsOrdered()
    .Select(s => s.Substring(0, 1).ToUpper() + s.Remove(0, 1).ToLower())
    .Distinct();
return string.Join(Environment.NewLine, res);

Для списка

IZennoList list = project.Lists["List"];
var res = list
    .AsParallel().AsOrdered()
    .Select(s => s.Substring(0, 1).ToUpper() + s.Remove(0, 1).ToLower())
    .Distinct().ToList();
list.Clear();
list.AddRange(res);

 

[Turbina]

Dimionix - хорошее решение, но код все начальные буквы делает заглавными. В notepad++ есть такая опция, он понимает дубли с разным регистром.
Kare - регистр должен сохраниться, там города, имена и т.д.

 

[Dimionix]

Dimionix - хорошее решение, но код все начальные буквы дерает заглавными. В notepad++ есть такая опция, он понимает дубли с разным регистром.
Kare - регистр должен сохраниться, там города, имена и т.д.

Тогда так:
Для переменой

string text = project.Variables["text"].Value;
List<string> tmpList = text.Split(new[] { Environment.NewLine }, StringSplitOptions.RemoveEmptyEntries).ToList();
for (int i = 0; i < tmpList.Count; i++) {
    for (int j = i + 1; j < tmpList.Count; j++) {
        if (string.Compare(tmpList[i], tmpList[j], StringComparison.InvariantCultureIgnoreCase ) == 0) {
            tmpList.RemoveAt(j); j--;
        }
    }
}
return string.Join(Environment.NewLine, tmpList);

Для списка

IZennoList list = project.Lists["List"];
lock (SyncObjects.ListSyncer) {
    for (int i = 0; i < list.Count; i++) {
        for (int j = i + 1; j < list.Count; j++) {
            if (string.Compare(list[i], list[j], StringComparison.InvariantCultureIgnoreCase ) == 0) {
                list.RemoveAt(j); j--;
            }
        }
    }
}

 

[Turbina]

Dimionix - Спасибо! То что нужно!

 

[z@jivalo]

Dimionix
а как можно доработать скрипт что бы он удалял такие неявные дубли

Купить
Купила
Купили
Купим

Принес
принесла
принесли
принесут
принесем

Надо оставить по 1 слову из каждого примера.
Но добавить возможность определять с регистром или без, типа как дополнительная переменная true false

 

[Dimionix]

а как можно доработать скрипт что бы он удалял такие неявные дубли

Тут либо брать определённое количество символов с начала строки, либо, как вариант, привязаться к какому-нибудь поисковику и придумывать логику, либо пилить нейронку или как-то ещё, но в любом случае не будет 100%-го результата.

 

[z@jivalo]

Тут либо брать определённое количество символов с начала строки, либо, как вариант, привязаться к какому-нибудь поисковику и придумывать логику, либо пилить нейронку или как-то ещё, но в любом случае не будет 100%-го результата.

так и думал что не простое это дело, лучше использовать Коллектор купленный.

Спасибо

 

[orka13]

так и думал что не простое это дело, лучше использовать Коллектор купленный.

Спасибо

Если сильно захотеть, можно в космос полететь…
Хз зачем, но в конце прошлого года я задавался подобным вопросом. Так и не смог найти в каком шабе я его применял, остался только тестовый шаблон. Начнем по порядку (регистр я игнорировал, точнее все к нижнему привел, с регистром уже сами думайте, как возится).
Key Collector делает вот так:


Penguin вот так:


Zennoposter шаблон-стеммер на основе StemmersNet.dll (в этом посте уже публиковал пример, там же и обновил шаб с кодом как на скрине) вот так:


Как видим на зенке и на Key Collector одинаковые результаты. Но гибкость зенки в плане доработки алгоритма неограниченная.
Ну и еще теоретически можно посмотреть в сторону склонения через использование шаблона сервисов морфера от @Nord.

 

[z@jivalo]

благодарю, удивили думал КК имеет мощный какой-то алгоритм выявления подобных дублей.
значит ваш пример из зенки был взят от сюда да?

http://zennolab.com/discussion/threads/kak-mne-realizovat-stemming.22494/#post-327883

 

[orka13]

благодарю, удивили думал КК имеет мощный какой-то алгоритм выявления подобных дублей.
значит ваш пример из зенки был взят от сюда да?

http://zennolab.com/discussion/threads/kak-mne-realizovat-stemming.22494/#post-327883

Да, просто скачайте файл там по ссылке.
В принципе, может на каких-то других словах КК покажет лучший результат, на скринах ведь слишком мало слов использовалось. Это уже сами тестируйте, у меня пока этот шаб пылится без дела.

 

[one]

думал КК имеет мощный какой-то алгоритм выявления подобных дублей.

А у него и есть мощьный алгоритм для выбора ключей на продвижение.

 

[z@jivalo]

А у него и есть мощьный алгоритм для выбора ключей на продвижение.

это да, софт мощный целый комбайн, надо было просто определиться с дублями неявными кто и как лучше справляется

 

[noble]

Для переменной

string text = project.Variables["text"].Value;
var res = text
    .Split(new[] { Environment.NewLine }, StringSplitOptions.RemoveEmptyEntries)
    .AsParallel().AsOrdered()
    .Select(s => s.Substring(0, 1).ToUpper() + s.Remove(0, 1).ToLower())
    .Distinct();
return string.Join(Environment.NewLine, res);

Для списка

IZennoList list = project.Lists["List"];
var res = list
    .AsParallel().AsOrdered()
    .Select(s => s.Substring(0, 1).ToUpper() + s.Remove(0, 1).ToLower())
    .Distinct().ToList();
list.Clear();
list.AddRange(res);

Попробовал этот скрип, что-то не выходит избавиться от дублей. У меня переменной, ссылки, которые дублируются. "text" заменил на имя переменной... Подскажите что я делаю не так ?

 

[7make]

Dimionix
а как можно доработать скрипт что бы он удалял такие неявные дубли

Купить
Купила
Купили
Купим

Принес
принесла
принесли
принесут
принесем

Надо оставить по 1 слову из каждого примера.
Но добавить возможность определять с регистром или без, типа как дополнительная переменная true false

Расстояние Левенштейна
или другие похожие алго для нечеткого поиска