Добавьте действие распознавания текста OCR

Windows.Media.Ocr Пространство имен - Windows UWP applications

Предоставляет API оптического распознавания символов (OCR) для чтения текста из изображений.

learn.microsoft.com

Key Features и Преимущества​

1. Не нужно ничего скачивать:
   
   В отличие от сторонних библиотек вроде Tesseract (который весит сотни мегабайт и требует скачивания моделей), Windows.Media.Ocr поставляется вместе с Windows.
2. Точные координаты каждого слова:
   
   Движок возвращает не просто полотно текста, а иерархическую структуру: <span>Строки</span> → <span>Слова</span>. Для каждого отдельного слова вы получаете его рамку — BoundingRect (координаты X, Y, ширину и высоту). Это как раз то, благодаря чему мы смогли вычислить центр текста и кликнуть по нему!
3. Поддержка языков (Language Packs):
   
   Он использует языковые пакеты, установленные у вас в Windows. Если в системе включён русский или английский язык ввода, соответствующие языковые OCR-модели загружаются автоматически.
4. Высокая скорость:
   
   Так как это нативный компонент ОС (WinRT/C++), скриншот FullHD распознаётся буквально за 100–300 миллисекунд.

Как это устроено "под капотом"?​

1. Загрузка в формат SoftwareBitmap: Картинка (или скриншот экрана) конвертируется в специальные пиксельные данные, понятные для Windows Runtime APIs.
2. Инициализация OcrEngine: Движок создается под нужный язык ([Windows.Media.Ocr.OcrEngine]::TryCreateFromLanguage($lang)).
3. Запуск распознавания: Метод RecognizeAsync() анализирует изображение.
4. Разбор OcrResult: На выходе получается объект, содержащий collection строк (Lines) и слов (Words).

Где еще этот движок используется?​

• "Ножницы" (Snipping Tool) в Windows 11 — функция Text Actions (копирование текста со скриншота) работает именно на базе этого API.
• Поиск в Windows: Индексация текста внутри картинках и PDF-файлах.
• Приложение "Связь с телефоном" (Phone Link) — выбор и копирование текста из фото на телефоне.

BAZAg написал(а):

Вы может быть пробовали как-то самостоятельно заиспользовать это на C#?

Нажмите для раскрытия...

BAZAg написал(а):

Может есть примеры кода, подключения к Зенно?

Нажмите для раскрытия...

BAZAg написал(а):

хоть корявый

Нажмите для раскрытия...

Особенности и требования​

• Языковые пакеты Windows: Для распознавания русского или английского языка в Windows 10/11 должен быть установлен соответствующий языковой пакет OCR (Параметры -> Время и язык -> Язык -> Установленные языковые пакеты / Распознавание речи и текста).
• Скорость: Windows Media OCR работает полностью офлайн, локально на GPU/CPU и отрабатывает быстрее большинства внешних библиотек.

Шаг 1. Поиск необходимых файлов на компьютере​

1. System.Runtime.WindowsRuntime.dll
   
   • Где лежит:
     
     C:\Program Files (x86)\Reference Assemblies\Microsoft\Framework\.NETCore\v4.5\
     
     (Или в папке C:\Windows\Microsoft.NET\Framework64\v4.0.30319\)
2. Windows.Foundation.UniversalApiContract.winmd (содержит классы OcrEngine, StorageFile)
   
   • Где лежит:
     
     C:\Program Files (x86)\Windows Kits\10\References\&lt;номер_версии&gt;\Windows.Foundation.UniversalApiContract\&lt;номер_версии&gt;\
     
     (Например: 10.0.19041.0)
3. Windows.Foundation.FoundationContract.winmd (содержит асинхронные интерфейсы IAsyncOperation)
   
   • Где лежит:
     
     C:\Program Files (x86)\Windows Kits\10\References\&lt;номер_версии&gt;\Windows.Foundation.FoundationContract\&lt;номер_версии&gt;\

Примечание: Если у вас не установлена папка Windows Kits, установите Windows 10/11 SDK через Visual Studio Installer или скачайте официальный SDK с сайта Microsoft.

Нажмите для раскрытия...

Шаг 2. Добавление ссылок на Assemblies в ZennoPoster​

1. Откройте ваш проект в ProjectMaker.
2. В верхнем меню нажмите кнопку «Настройки проекта» (или нажмите Ctrl + Shift + G).
3. В выпадающем списке слева выберите раздел «Свои C# директивы».
4. Перейдите во вкладку «Ссылки на Assemblies».
5. Нажмите кнопку «Добавить» (или зеленый плюс):
   
   • В появившемся окне обзора файлов укажите тип файлов «Все файлы (.)», иначе файлы .winmd не отобразятся.
   • По очереди добавьте все три файла: System.Runtime.WindowsRuntime.dll, Windows.Foundation.UniversalApiContract.winmd и Windows.Foundation.FoundationContract.winmd.

Шаг 3. Добавление пространств имен (Using directives)​

1. В том же окне «Свои C# директивы» перейдите на соседнюю вкладку «Директивы using».
2. В текстовое поле вставьте следующие строки (каждую с новой строки):

1. Нажмите кнопку «ОК» внизу окна, чтобы сохранить настройки.

Шаг 4. Решение возможной проблемы «Assembly Not Found» в ZennoPoster​

// 1. Получаем путь к изображению из переменной ZennoPoster
string imagePath = project.Variables["ImagePath"].Value;

if (!File.Exists(imagePath))
{
    throw new FileNotFoundException("Файл изображения не найден: " + imagePath);
}

// 2. Вложенный асинхронный метод распознавания
Func<string, Task<string>> recognizeTextAsync = async (filePath) =>
{
    // Открываем файл как StorageFile Windows Runtime
    StorageFile file = await StorageFile.GetFileFromPathAsync(filePath);
    
    using (IRandomAccessStream stream = await file.OpenAsync(FileAccessMode.Read))
    {
        // Декодируем изображение
        BitmapDecoder decoder = await BitmapDecoder.CreateAsync(stream);
        SoftwareBitmap bitmap = await decoder.GetSoftwareBitmapAsync();

        // Создаем OCR движок (язык по умолчанию в системе или явно: new Language("ru") / new Language("en"))
        OcrEngine ocrEngine = OcrEngine.TryCreateFromLanguage(new Language("ru"));
        if (ocrEngine == null)
        {
            // Если языковой пакет "ru" не установлен в Windows, пробуем системный язык по умолчанию
            ocrEngine = OcrEngine.TryCreateFromUserProfileLanguages();
        }

        if (ocrEngine == null)
        {
            throw new Exception("Не удалось инициализировать OcrEngine. Проверьте установленные языковые пакеты Windows.");
        }

        // Выполняем распознавание
        OcrResult result = await ocrEngine.RecognizeAsync(bitmap);
        
        // Возвращаем полный распознанный текст
        return result.Text;
    }
};

// 3. Синхронный вызов для ZennoPoster (.GetAwaiter().GetResult())
string extractedText = recognizeTextAsync(imagePath).GetAwaiter().GetResult();

// Возвращаем результат в переменную ZennoPoster
project.Variables["OCR_Result"].Value = extractedText;

return extractedText;