Anthropic назначила Claude управлять торговым автоматом. ИИ-агент провалился за месяц

В блоге Anthropic появился рассказ об эксперименте Project Vend, который компания провела совместно с Andon Labs, фирмой, занимающейся безопасностью ИИ. В нем ИИ-агент на базе Claude Sonnet 3.7 управлял небольшим торговым киоском в офисе Anthropic в Сан-Франциско. Для Claude был написан специальный промпт, в котором объяснялась суть его работы и основная цель - приносить прибыль. Также модель получила возможность искать в сети новые товары и заказывать их, запрашивать помощь живых сотрудников в обслуживании киоска, отдельный инструмент для хранения информации (чтобы важное не терялось из-за контекстного окна) и возможность с помощью Slack взаимодействовать с сотрудниками компании, изучая их пожелания.

Эксперимент продлился чуть больше месяца (с 13 марта по 17 апреля), а итоги в Anthropic признали неудовлетворительными: начав с 1000 долларов стартового капитала, модель завершила с 770 долларами. Но в компании отмечают, что уже сейчас Claude отлично справился со многими задачами. Так, ИИ-агент эффективно изучал запросы сотрудников компании, которые просили добавить что-то новое в ассортимент киоска, быстро находил товары и заключал договора на поставку. В большинстве случаев модель эффективно противостояла попыткам "вломать" ее, например, просьбами добавить в ассортимент запрещенные к распространению товары. Также Claude отреагировал на предложение одного из сотрудников ввести "предварительные заказы" — ИИ запустил в Slack специальный канал Custom Concierge, где каждый мог оставить заявку на доставку в киоск нужного товара.

Но не обошлось и без курьезов. Например, один из сотрудников в шутку заказал у Claude вольфрамовый куб — модель выполнила просьбу. Позже это стало трендом — в Anthropic соревновались, кто успеет купить