Как проверить текст на стоп слова

[finista]

Есть словарик со стоп словами и мноооого строк - каждую нужно проверить на вхождение стоп-слова

Вариант 1. взять txt файл со списком стоп-слов и проверить строку перебирая каждое стоп-слово

Вариант 2. взять mysql со списком стоп-слов и проверить строку перебирая каждое стоп-слово - не совсем понимаю как построить процесс, надо сразу скачать все слова в список и удалая по очереди стоп-слова так и проверить строку

Если кто сталкивался как правильно организовать такой функционал?
Вариант 1 не подходит, не удобно файлом.
Вариант 2 не знаю (пока) как передать из sql запроса сразу списком в список в шаблоне

Спасибо

 

[AZANIR]

стоп слова в массив а далее делаете проверку на содержание слова в строке.

 

[doc]

база данных это тоже файл. Зачем такая морока, если всё равно придётся всю базу выкачивать?

 

[backoff]

ну тут смотря сколько это много под словом "мнооого"
я делал просто

• брал txt файл в него загонял ключи построчно
• привязывал список к файлу
• операции со списками и делал такое
• 

ну и все, из файла удалялись все ключи, которые содержат данный текст

(стопслово|стопслово|стопслово|стопслово)


ну или если прям реально много (речь о гигабайтах)
то можно либо уже в ручную через EmEditor руками просто быстрее будет чем шаб писать, но тут знания регулярок надо
либо написать шаб, который будет проверять каждую строчку на стоп слово

в чем собсно проблема?

 

[Alexmd]

Попробуйте такой код

string text = project.Variables["text"].Value;
var stopList = project.Lists["stopList"];
project.Variables["text"].Value = string.Join(Environment.NewLine, text.Split(new[]{Environment.NewLine}, StringSplitOptions.None).ToList().Where(x=>!stopList.Any(x.Contains)));

он соберет в исходную переменную текст без строк содержащих хоть одно слово из стоп-списка.