Эмуляция экрана телефона, как искать нужные элементы для действий?

[DoReMi]

1. Есть экран телефона
2. На нем загружен браузер и есть список сайтов (например в поисковике duckduckgo)

Задача найти нужный сайт и выполнить на него вход
То есть загружена экран, идет листание страниц в поисковой машине, надо "увидеть" нужный сайт и сделать на него переход.
Какие есть способы "обнаружения" нужного сайта?

 

[frion-seo]

В аппиуме меняем контекст на webview и работаем напрямую с браузером через хромдрайвер

 

[DoReMi]

В аппиуме меняем контекст на webview и работаем напрямую с браузером через хромдрайвер

А еще есть варианты другие?

 

[radv]

А еще есть варианты другие?

поиск по картинке как вариант

 

[DD3]

поиск по картинке как вариант

А поясните пожалуйста алгоритм, как это поиск по картинке?

 

[radv]

А поясните пожалуйста алгоритм, как это поиск по картинке?

Я в своих плагинах сделал так: обычно в ручную вырезаю часть картинки с полного скриншота и потом уже эту часть ищу на полном скриншоте. получаю координаты, если они нулевые, то ничего не найдено.
или аппиум, как подсказали выше (но там свои нюансы). Получение WebView (из него html) и поиск нужной ссылки

Можете поискать C# код для такой же реализации.

 

[DD3]

Я в своих плагинах сделал так: обычно в ручную вырезаю часть картинки с полного скриншота и потом уже эту часть ищу на полном скриншоте. получаю координаты, если они нулевые, то ничего не найдено.
или аппиум, как подсказали выше (но там свои нюансы). Получение WebView (из него html) и поиск нужной ссылки

Можете поискать C# код для такой же реализации.

А ищите как, с помощью этого - OpenCV ?

 

[radv]

А ищите как, с помощью этого - OpenCV ?

Да