Управляем ZennoBrowser с помощью AI + демонстрационный шаблон

[DrZzz]

Сначала я хотел сделать управление через agent.exe, но осознал, что больше потрачу времени на объяснение нейронке в какой области нужно работать и нельзя будет использовать в этот момент компьютер. Я взял за основу идею этого репозитория и решил сделать реализацию внутри ZennoPoster, которая может работать в многопотоке.

Если вкратце, то мы отправляем запрос с скриншотом в нейросеть Claude и просим сделать действие (клик, ввод и т.д.), таким образом, у нас происходит общение между сервисом и ZennoBrowser.

Во входных настройках со стороны пользователя нужно ввести API ключ от Anthropic и запрос, чего мы ожидаем, и прокси, если вы находитесь в РФ.

На хабре недавно выходила статья о том, как создать аккаунт в Anthropic/Claude и получить ключ - https://habr.com/ru/articles/863216/, в комментариях пишут, что можно купить сразу API ключ, но сам таким не пользовался, поэтому не смогу подсказать

Шаблон

Видео-демонстрация:

Я считаю, что на чистом C# вышло бы компактнее, но порог вхождения для такого шаблона был бы куда выше, чем на кубиках, поэтому здесь по минимуму используется C#:



Сначала мы изменяем разрешение экрана для того, чтобы нейросеть корректно отдавала нам координаты для кликов.

После этого мы отправляем POST запрос, чтобы создать «сессию», которая будет использовать инструмент computer и внутри него мы передаем системный запрос (system_prompt) в котором я описываю, что нейросеть может использовать только текущее окно и должно помочь пользователю добиться результата.

В ответ нам приходит json, который далее мы должны отформатировать под структуру messages, которая передается из запроса к запросу.

Открываем google.com и получаем первый скриншот, далее формируем json, который идет в запрос и ожидаем от нейросети ответ.

Если ответ корректный, то нам придет left_click, type или другое действие, с помощью switch мы переходим к необходимому действию.

Повторяем эти действия в цикле, пока не достигнем какого-то результата. В конце мы сохраняем профиль


---

Документация Anthropic - https://docs.anthropic.com/ru/api/getting-started

Использование компьютера - https://docs.anthropic.com/ru/docs/build-with-claude/computer-use

Минимальная версия для запуска шаблона – 7.1.3.0

 

[KokaSEO]

Очень перспективная тема на самом деле.
Хотел поиграться с шабом но хз как пополнить баланс на сервисе или где взять акк/апи ключ с балансом.

 

[Scipion]

Очень перспективная тема на самом деле.
Хотел поиграться с шабом но хз как пополнить баланс на сервисе или где взять акк/апи ключ с балансом.

Если не ошибаюсь, то они принимают турецкую карту oldubil(пополняется через сбер) или найти поплнятеля на платиру

 

[molotok]

Капчу пробовали таким способом гадать?

 

[DrZzz]

Капчу пробовали таким способом гадать?

Нет, не пробовал. В данный момент под такие задачи, ждать ответ от этой модели очень долго

 

[tsetsetse]

очень прикольный шаблон и объяснение есть везде

 

[Ruhas]

Если не ошибаюсь, то они принимают турецкую карту oldubil(пополняется через сбер) или найти поплнятеля на платиру

Подскажи, а есть методы приобрести Турецкую карту?

 

[Scipion]

Подскажи, а есть методы приобрести Турецкую карту?

Сейчас не подскажу, все быстро меняется и Турция жителям РФ крутят гайки. Вроде, сейчас виртуалку от байбит несложно сделать.

 

[Ruhas]

Сейчас не подскажу, все быстро меняется и Турция жителям РФ крутят гайки. Вроде, сейчас виртуалку от байбит несложно сделать.

Спасибо!

 

[tsetsetse]

автор статьи когда 2 часть будет? щас конкурс идёт я на питоне ету хрень за неделю ели построил и то не работает, а тут каптчи всякие , ещё помогло с экономить ресурсы на токены компрессия фото+черн\белый и ещё всякой херни вес фото падает на 70% а ии распосзнает также

 

[Ruhas]

В чем полезность этого шаблона? В чем можно применить?

 

[tsetsetse]

В чем полезность этого шаблона? В чем можно применить?

пытался сделать на питоне похожмй шаблон по голосовой команде чтобы он кликал где я ему говорил через скриншот - пример разговора - ии включи что то на ютубе - через скриншот он возвращал мне pyautogui код и запускал его сразу, по скриншоту ориентироватся можно и в игре и влюбой программе
хотел контролировать пк через голосовые команды. данный шаблон работает точнее чем моя неделя попыток исправить этот таки код

шаблон можно на каптчи или дать руки для ии на сайте
типо google ai studio где он видит экран и говорит тока ещё с руками бы

 

[ks1989]

Супер респект

 

[Jab1Bot]

.

 

[code]

{"type":"error","error":{"type":"not_found_error","message":"model: claude-3-5-sonnet-20241022"},"request_id":"req_011CUpP2GoUsupJcbzfXfACA"}

Почему такая ошибка происходит, при создании сессии?

Код ошибки not_found_error с текстом model: claude-3-5-sonnet-20241022 означает, что указанный идентификатор модели недоступен в выбранном провайдере/регионе/эндпоинте или не поддерживается текущим способом вызова, поэтому при создании сессии ресурс не находится и возвращается 404/NotFound.

Основные причины

• Неверный идентификатор модели или её версия снята/переименована у провайдера, из‑за чего API не находит ресурс по строке claude-3-5-sonnet-20241022.
• Модель доступна только через inference profile, а не прямой model id (актуально для AWS Bedrock для v2-версий Sonnet 3.5).
• Модель отключена/временно недоступна в выбранном регионе или убрана из каталога провайдера, что приводит к NotFound.

 

[Jab1Bot]

Код ошибки not_found_error с текстом model: claude-3-5-sonnet-20241022 означает, что указанный идентификатор модели недоступен в выбранном провайдере/регионе/эндпоинте или не поддерживается текущим способом вызова, поэтому при создании сессии ресурс не находится и возвращается 404/NotFound.

Основные причины

• Неверный идентификатор модели или её версия снята/переименована у провайдера, из‑за чего API не находит ресурс по строке claude-3-5-sonnet-20241022.
• Модель доступна только через inference profile, а не прямой model id (актуально для AWS Bedrock для v2-версий Sonnet 3.5).
• Модель отключена/временно недоступна в выбранном регионе или убрана из каталога провайдера, что приводит к NotFound.

спасибо, разобрался