Как определить язык текста?

[xoffer]

Как определить язык текста на странице с помощью зенно? Сам сайт на анг., но нужно отбирать тех кто пишет отзывы только на русском языке.

 

[Sergodjan]

Как определить язык текста на странице с помощью зенно? Сам сайт на анг., но нужно отбирать тех кто пишет отзывы только на русском языке.

не идеальный вариант, но все же, можно напрмиер такой регуляркой [А-Яа-яё].* проверять строку (переменную) на наличие кириллицы и с помощью IF проверять на пустоту..

 

[Dimionix]

Проверка наличия русских букв
Поиск латинских букв в кириллическом тексте

 

[orka13]

Хз, банально, но любой язык определит: брать блок текста с отзывом и забрасывать в гугл переводчик в режиме "авто определение языка", и смотреть как он определит.
Или искать другие сервисы для анализа текстовки. Офлайн решения может есть на каких то библиотеках C# с встроенными словарями часто встречаемых слов в языке.

или вариант регуляркой, но не просто проверкой на буквы, а на часто встречаемые слова (ну чтобы отсеять другие языки, которые на кириллице) . Я использую именно такой метод:
Русский язык:

\b(и|в|на|с|не|эт\w*|что|для|котор\w*)\b

Английский язык:

\b(the|and|to|for|at)\b

Ищем сколько таких слов нашло, потом считаем общую длину текста в котором искали, и рассчитываем процентное соотношение, если оно сильно больше 0, то наш клиент .

 

[GreenWay]

Объеденил подход Dimionix и orka13 - то-есть считаем не количество букв, а количество типичных слов. Если русских больше - значит текст на русском.

string input = project.Variables["TEMP_TEXT"].Value;
int countEn = Regex.Matches (input, @"\b(the|and|to|for|at)\b").Count;
int countRu = Regex.Matches (input, @"\b(и|в|на|с|не|эт\w*|что|для|котор\w*)\b").Count;
if (countEn >= countRu) return "EN";
else return "RU";

 

[PussyM]

не идеальный вариант, но все же, можно напрмиер такой регуляркой [А-Яа-яё].* проверять строку (переменную) на наличие кириллицы и с помощью IF проверять на пустоту..

Благодарю, для моей задачи вполне подходит данное решение)

 

[vesb]

Подскажите, нашел сервис, который определяет язык по API
Как правильно вводить данные в POST кубик?

Documentation | Detect Language API

Detect Language API usage instructions with examples. Security and performance tips.

detectlanguage.com

Спойлер: Делаю во так

Но пишет, что неправильный API ключ
{"error":{"code":1,"message":"Invalid API key"}}

 

[nrg8601]

Подскажите, нашел сервис, который определяет язык по API
Как правильно вводить данные в POST кубик?

Documentation | Detect Language API

Detect Language API usage instructions with examples. Security and performance tips.

detectlanguage.com

Спойлер: Делаю во так

Но пишет, что неправильный API ключ
{"error":{"code":1,"message":"Invalid API key"}}

Нужно UA указать

user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36 OPR/85.0.4341.75
Authorization: Bearer 3c022dca94063**************

 

[vesb]

Нужно UA указать

user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36 OPR/85.0.4341.75
Authorization: Bearer 3c022dca94063**************

Спасибо! заработало