Распознавание изображения

[Onotole]

Добрый день, подскажите как можно реализовать выполнение определенного действия при совпадении части изображения?
Необходимо проверить часть изображения и если оно совпало то сделать клик в нужной части экрана, если не совпало, подождать несколько секунд и снова проверить совпадение.

Пробовал выполнить это через "клик по картинке" но проверка на совпадение не работает, переход происходит всегда положительным.

 

[VladZen]

Это через C# только - https://msdn.microsoft.com/en-us/library/hh191601.aspx

 

[Onotole]

а для чего тогда нужен "клик по картинке"?

я в С полный ноль (

может кто поможет накидать код для проверки?
сайт полностью на флеше. нужно взять небольшую область (15х15 или 20х20 пиксел) с экрана по координатам, сравнить ее на совпадение с образцом и совершить переход далее по проекту или проверить снова совпадением через несколько секунд

 

[Sergodjan]

Добрый день, подскажите как можно реализовать выполнение определенного действия при совпадении части изображения?
Необходимо проверить часть изображения и если оно совпало то сделать клик в нужной части экрана, если не совпало, подождать несколько секунд и снова проверить совпадение.

Пробовал выполнить это через "клик по картинке" но проверка на совпадение не работает, переход происходит всегда положительным.

поиск по картинке - не очень точный инструмент.. следует тщательно подбирать область, где производить клик (поиск), могут быть ложные срабатывания, например клики не туда..
если клик произошел не туда, то соотв. и выйдет по положительной зеленой ветке..

 

[VladZen]

Что-то вы мудрите... Распознавание изображений тогда тут и ненужно... Я так понимаю. на сайте, который на флеше, в определенный момент появляется картинка, по которой нужно кликнуть., так?

 

[Onotole]

Что-то вы мудрите... Распознавание изображений тогда тут и ненужно... Я так понимаю. на сайте, который на флеше, в определенный момент появляется картинка, по которой нужно кликнуть., так?

Так я и не говорил, что ее нужно распознать, я говорил что нужно сравнить с "эталоном"

Вы правы, нужно в определенный момент определить, что произошло "событие" (меняется цвет и фон определенного участка) и кликнуть по кнопке. Если событие не произошло, ждать пока оно будет.

вот пример изображения

можно даже сравнивать просто по цвету

Что значит клик не туда? нужно если совпало - кликнуло, не совпало - не кликнуло, перешло на назад или ждало появления кнопки

 

[VladZen]

Так я и не говорил, что ее нужно распознать, я говорил что нужно сравнить с "эталоном".

А название самой темы?)
Сравнивать по цвету стандартными средствами не получится... Может какое-то другое событие? Элемент какой-то появляется на странице при этом, кнопка например.

 

[Onotole]

Ок, был не прав ))))

Сайт полностью флешевый (игра) кроме графики в нем ничего не происходит. Делаю просто кликер, что бы зенка сама определяла события и кликала в нужные места.
вот пример экрана

 

[VladZen]

Вот это окошечко результаты боя... Конструктор действий её цепляет? (Правый клик>Конструктор действий)

 

[Onotole]

Вот это окошечко результаты боя... Конструктор действий её цепляет? (Правый клик>Конструктор действий)

не цепляет. зенка все воспринимает только как одну большую картинку.



ну или я не понимаю, что нужно сделать...

 

[VladZen]

Поидее нужно проверять выскочило ли окошко Результаты боя, и если выскочило, то кликать по картинке OK. Надо подумать, как это реализовать.

 

[Onotole]

с этим с результатими боя вопрос решился. сделал большую область для определения картинки и зенка угадывает правильно куда кликнуть
вот в этом случае нужно кликнуть по левой клавише

если левой кнопки нет, то никуда не кликать и перейти дальше.
но при отсутствии левой клавиши, зенка упорно кликает по правой.... даже выставление 99% совпадения с образцом не помогает...

просто грусть и печаль (

 

[rostonix]

а как экшен настроен? покажите скрин

 

[Onotole]

а как экшен настроен? покажите скрин

Настраивал по разному, брал и меленькие области с нескольколькими буквами, область смещал что бы и по двум кнопкам определялось, играл с % совпадения и т.д.
Полагаю, что зенка очень сильно "усредняет" изображение и ищет совпадения. В качестве решения пришел к тому, что саму клавишу необходимо "подсветить" курсором, но как его переместить по нужным координатам без клика не нашел (

 

[rostonix]

как верно было сказано в теме - поиск по картинке весьма неточный инструмент(
пришлите пример шаблона в воспроизводимом формате, чтобы до этого блока дойти можно было. посмотрим.
[email protected]

 

[Onotole]

как верно было сказано в теме - поиск по картинке весьма неточный инструмент(
пришлите пример шаблона в воспроизводимом формате, чтобы до этого блока дойти можно было. посмотрим.
[email protected]

отправил

 

[Onotole]

Поздравляю всех с прошедшими праздниками!

Продолжаю биться со своей темой. Сейчас пришла в голову идея как избавиться от поиска по изображению.
В разные моменты изменяется тайтл окна. Подскажите как можно его вытаскивать в определенный момент и сравнить с текстом (ожидание, бой, награда и т.д.) ?
Буду оч. признательным.

 

[Dimionix]

Подскажите как можно его вытаскивать в определенный момент и сравнить с текстом (ожидание, бой, награда и т.д.) ?
Буду оч. признательным.

Получаете тайтл C# кодом

return instance.ActiveTab.Title;

Затем сравниваете If'ом или Switch'ем.

 

[Onotole]

C#

return instance.ActiveTab.Title;

А на вторую часть вопроса можно получить ответ ? )))
Просто я очень далек от С# и не знаю как обработать переменную с текстом, что бы можно было сравнить с контрольным текстом ?
Желательно что бы происходило не 100% сравнение, а искало совпадении по 1-2 словам

 

[Dimionix]

Сравнивайте стандартными экшенами If: '{-Variable.Title-}'=='Текст'
или Switch, если несколько вариантов.

PS. Должно быть 100% совпадение.

 

[Onotole]

Dimionix, спасибо. буду пробовать.

 

[Onotole]

Не получилось.
Может быть название окна, как то еще формируется?
Просто когда окно браузера свернуто, то в названии пишется происходящее в игре (см. скрин ниже)
Но в зенно тайтл не изменяется и всегда один и тот же, независимо от происходящих событий в игре. (игра полностью на флэше)

 

[Dimionix]

Значит нужно искать еще какие-то уникальные параметры.
Вообще, может для этого дела проще использовать автокликер?

 

[Onotole]

Значит нужно искать еще какие-то уникальные параметры.
Вообще, может для этого дела проще использовать автокликер?

конечно кликер был идеальным вариантом, если "ожидание игроков" "продолжительность боя" и т.д. всегда имели одну и ту же продолжительность... (

 

[doc]

в кликерах тоже есть поиск по картинке, примитивная логика, паузы, циклы и тд

 

[Dimionix]

Не знаю, может бред, конечно.
Если в определенный момент делать скрин какой-то области инстанса и сравнивать с эталонным изображением (сравнивать хеш сумму полученного изображения и эталонного).
Как вариант

 

[doc]

Не знаю, может бред, конечно.
Если в определенный момент делать скрин какой-то области инстанса и сравнивать с эталонным изображением (сравнивать хеш сумму полученного изображения и эталонного).
Как вариант

блик какой-нибудь в стиле флеша проскочит и приехали)