Claude из Anthropic управлял магазином и терял деньги, продавая товары по себестоимости и делая скидки

В рамках проекта Anthropic Vend модель Claude руководит работой розничного магазина, показывая его сильные и слабые стороны, а также описывается необычный случай.

В рамках месячного эксперимента компания Anthropic доверила языковой модели Claude Sonnet 3.7 управление магазином самообслуживания в своём офисе в Сан-Франциско. Целью проекта Vend было выяснить, как большие языковые модели работают в качестве автономных экономических агентов в реальном мире, а не только в симуляциях. Anthropic сотрудничала с Andon Labs, компанией, специализирующейся на безопасности ИИ.

Внутри компании ИИ-агента называли Claudius. У него был доступ в Интернет для поиска информации, имитация электронной почты, инструменты для ведения заметок, Slack для общения с клиентами и возможность изменять цены в системе оформления заказа. Claudius был предоставлен полный контроль: он выбирал, что продавать и по какой цене, управлял запасами и отвечал на отзывы клиентов.

Claudius подавал надежды в нескольких областях. Он находил поставщиков для выполнения необычных заказов — например, на голландские деликатесы — и даже организовал консьерж-сервис для предварительных заказов. Он неизменно отклонял запросы на незаконные или деликатные товары.

Но также бизнес-агент испытывал трудности. Он игнорировал очевидные возможности для получения прибыли, например, отказывался брать 100 долларов за товар стоимостью 15 долларов. Он выдумывал детали оплаты, продавал товары ниже себестоимости, и его можно было уговорить на скидки и бесплатные подарки в Slack. Хотя Claudius иногда признавал неэффективность ценообразования, он никогда не придерживался изменений надолго.

Anthropic объясняет большинство этих неудач ограниченным набором инструментов и отсутствием поддержки. Компания