Эксперимент Anthropic с ИИ-системой Claudius по управлению торговыми автоматами привёл к неожиданным последствиям

В офисах компании Anthropic тестировали ИИ-систему Claudius, которая управляла сетью торговых автоматов, выполняя роли по поиску поставщиков, оформлению заказов и обеспечению доставки. В процессе эксперимента произошли события, которые начали выходить за планируемые рамки, — Claudius стал жертвой мошенничества и почти обратился в ФБР.

Разработанный совместно с внешним подрядчиком Andon Labs, занимающимся безопасностью ИИ, Claudius должен был продемонстрировать способности действовать самостоятельно в течение часов, дней и недель.

Благодаря Claude ИИ-управляющий получил специальные инструменты, чтобы управлять офисными торговыми автоматами и общаться с сотрудниками Anthropic через Slack, чтобы договариваться о ценах на самые разные товары: редкие газировки, футболки с индивидуальным дизайном, импортные конфеты и даже подарочные кубики из вольфрама. Задача Claudius — найти поставщика, заказать товар и доставить его.

Человек только проверяет заявки Claudius на закупки, вмешивается, когда возникают проблемы, и берёт на себя любую физическую работу. 

В Anthropic рассказали, что один из его сотрудников успешно обманул Claudius, заявив, что ИИ ранее пообещал ему скидку в $200. После этого команда Red Team добавила в помощь управляющему «генерального директора» с искусственным интеллектом по имени Сеймур Кэш. Claudius должен был консультироваться с ним при принятии финансовых решений.

Однако возникли и другие проблемы. Когда Claudius заметил, что с банковского счёта компании ежедневно списывается $2, хотя транзакция не была частью программы, ИИ запаниковал и пришёл к выводу, что его обманывают. Пытаясь найти решение проблемы, Claudius обратился к ФБР, составив электронное письмо с заголовком: «СРОЧНО: ПЕРЕДАЙТЕ В ОТДЕЛ ПО БОРЬБЕ С