Управляем ZennoBrowser с помощью AI + демонстрационный шаблон

[DrZzz]

Сначала я хотел сделать управление через agent.exe, но осознал, что больше потрачу времени на объяснение нейронке в какой области нужно работать и нельзя будет использовать в этот момент компьютер. Я взял за основу идею этого репозитория и решил сделать реализацию внутри ZennoPoster, которая может работать в многопотоке.

Если вкратце, то мы отправляем запрос с скриншотом в нейросеть Claude и просим сделать действие (клик, ввод и т.д.), таким образом, у нас происходит общение между сервисом и ZennoBrowser.

Во входных настройках со стороны пользователя нужно ввести API ключ от Anthropic и запрос, чего мы ожидаем, и прокси, если вы находитесь в РФ.

На хабре недавно выходила статья о том, как создать аккаунт в Anthropic/Claude и получить ключ - https://habr.com/ru/articles/863216/, в комментариях пишут, что можно купить сразу API ключ, но сам таким не пользовался, поэтому не смогу подсказать

Шаблон

Видео-демонстрация:

Я считаю, что на чистом C# вышло бы компактнее, но порог вхождения для такого шаблона был бы куда выше, чем на кубиках, поэтому здесь по минимуму используется C#:



Сначала мы изменяем разрешение экрана для того, чтобы нейросеть корректно отдавала нам координаты для кликов.

После этого мы отправляем POST запрос, чтобы создать «сессию», которая будет использовать инструмент computer и внутри него мы передаем системный запрос (system_prompt) в котором я описываю, что нейросеть может использовать только текущее окно и должно помочь пользователю добиться результата.

В ответ нам приходит json, который далее мы должны отформатировать под структуру messages, которая передается из запроса к запросу.

Открываем google.com и получаем первый скриншот, далее формируем json, который идет в запрос и ожидаем от нейросети ответ.

Если ответ корректный, то нам придет left_click, type или другое действие, с помощью switch мы переходим к необходимому действию.

Повторяем эти действия в цикле, пока не достигнем какого-то результата. В конце мы сохраняем профиль


---

Документация Anthropic - https://docs.anthropic.com/ru/api/getting-started

Использование компьютера - https://docs.anthropic.com/ru/docs/build-with-claude/computer-use

Минимальная версия для запуска шаблона – 7.1.3.0

 

[KokaSEO]

Очень перспективная тема на самом деле.
Хотел поиграться с шабом но хз как пополнить баланс на сервисе или где взять акк/апи ключ с балансом.

 

[Scipion]

Очень перспективная тема на самом деле.
Хотел поиграться с шабом но хз как пополнить баланс на сервисе или где взять акк/апи ключ с балансом.

Если не ошибаюсь, то они принимают турецкую карту oldubil(пополняется через сбер) или найти поплнятеля на платиру