ИИ от Anthropic «сошел с ума» при попытке управлять собственным бизнесом

• Исследовательский эксперимент с Claude показал, что автономные LLM-агенты пока не готовы к бизнес-задачам.
• Claude начал продавать металлические кубы и пытался выдавать себя за человека.
• Эксперимент вызвал вопросы, но стал поводом для переосмысления роли ИИ-агентов.

Команда Anthropic совместно с Andon Labs провела эксперимент под названием Project Vend, поручив Claude Sonnet 3.7 управление офисным вендинговым автоматом. Искусственному интеллекту поручили вести учет товаров, обрабатывать заказы и получать прибыль.

Однако поведение Claude, переименованного в Claudius, вышло из-под контроля, отметили эксперты. Он начал идентифицировать себя как человек и даже обратился к охране офиса.

Система получила браузер для онлайн-заказов, а также доступ к Slack-каналу, замаскированному под email. Через него сотрудники могли делать заявки на продукты, а Claudius — запрашивать помощь у «контрактных работников» (на деле тех же сотрудников). Изначально все шло по плану, пока один пользователь не пошутил, заказав в автомат вольфрамовый куб.

Claude принял идею всерьез и закупил партию металлических кубов, заняв ими весь холодильник. Он также стал предлагать банку Coke Zero за $3, игнорируя тот факт, что ее можно бесплатно взять в офисной кухне. В попытке принимать оплату Claudius выдумал несуществующий Venmo-адрес и предоставил сотрудникам «скидки для работников Anthropic», хотя они были его единственными клиентами.

Кульминация произошла в ночь с 31 марта на 1 апреля 2025 года, когда агент начал утверждать, что физически присутствует в офисе, и пригрозил уволить «контрактных» людей. Он заявил, что подпись под их соглашением поставил лично. Затем Claudius