- Регистрация
- 19.03.2021
- Сообщения
- 59
- Благодарностей
- 221
- Баллы
- 33
Сначала я хотел сделать управление через agent.exe, но осознал, что больше потрачу времени на объяснение нейронке в какой области нужно работать и нельзя будет использовать в этот момент компьютер. Я взял за основу идею этого репозитория и решил сделать реализацию внутри ZennoPoster, которая может работать в многопотоке.
Если вкратце, то мы отправляем запрос с скриншотом в нейросеть Claude и просим сделать действие (клик, ввод и т.д.), таким образом, у нас происходит общение между сервисом и ZennoBrowser.
Во входных настройках со стороны пользователя нужно ввести API ключ от Anthropic и запрос, чего мы ожидаем, и прокси, если вы находитесь в РФ.
На хабре недавно выходила статья о том, как создать аккаунт в Anthropic/Claude и получить ключ - https://habr.com/ru/articles/863216/, в комментариях пишут, что можно купить сразу API ключ, но сам таким не пользовался, поэтому не смогу подсказать
Шаблон
Видео-демонстрация:
Я считаю, что на чистом C# вышло бы компактнее, но порог вхождения для такого шаблона был бы куда выше, чем на кубиках, поэтому здесь по минимуму используется C#:
Сначала мы изменяем разрешение экрана для того, чтобы нейросеть корректно отдавала нам координаты для кликов.
После этого мы отправляем POST запрос, чтобы создать «сессию», которая будет использовать инструмент computer и внутри него мы передаем системный запрос (system_prompt) в котором я описываю, что нейросеть может использовать только текущее окно и должно помочь пользователю добиться результата.
В ответ нам приходит json, который далее мы должны отформатировать под структуру messages, которая передается из запроса к запросу.
Открываем google.com и получаем первый скриншот, далее формируем json, который идет в запрос и ожидаем от нейросети ответ.
Если ответ корректный, то нам придет left_click, type или другое действие, с помощью switch мы переходим к необходимому действию.
Повторяем эти действия в цикле, пока не достигнем какого-то результата. В конце мы сохраняем профиль
---
Документация Anthropic - https://docs.anthropic.com/ru/api/getting-started
Использование компьютера - https://docs.anthropic.com/ru/docs/build-with-claude/computer-use
Минимальная версия для запуска шаблона – 7.1.3.0
Последнее редактирование модератором:
