Anthropic выпускает новую ИИ-модель, которая управляет компьютером

Компания Anthropic представила обновлённую версию своей ИИ-модели Claude 3.5 Sonnet, которая способна управлять приложениями, имитируя действия пользователя. Новое API «Использование компьютера» позволяет модели совершать нажатия клавиш, перемещать курсор и выполнять клики, по сути превращая её в виртуального помощника для автоматизации различных задач. Этот инструмент доступен в бета-версии и интегрируется с платформами Amazon Bedrock и Vertex AI.

Claude 3.5 Sonnet может видеть экран и управлять приложениями на основе данных, предоставленных пользователем. Это делает его полезным для автоматизации процессов, таких как заполнение форм, обработка писем и других офисных задач. Модель может не только анализировать текст, но и управлять интерфейсами программ.

Хотя другие компании, такие как Relay и Adept, разрабатывают похожие технологии, Claude 3.5 отличается точностью и способностью самостоятельно исправлять ошибки. Эта особенность позволяет ему выполнять задачи, которые включают множество шагов, что важно для сложных процессов автоматизации.

Одним из ключевых преимуществ Claude 3.5 Sonnet является его «уровень выполнения действий», что позволяет ему взаимодействовать с настольными приложениями и веб-страницами. Это делает его полезным для таких задач, как дизайн, программирование или помощь в работе с приложениями. Например, Replit использовал раннюю версию модели для создания автономного инструмента, оценивающего программы в процессе их разработки, а Canva тестирует её для поддержки в дизайне.

Anthropic утверждает, что новая модель Sonnet 3.5 — это просто более сильная и надёжная модель, которая может лучше справляться с задачами по программированию, чем даже флагманский o1 от OpenAI, согласно тесту SWE-bench Verified. Несмо