Microsoft провела провальное тестирование ИИ-агентов на фальшивой торговой площадке

Исследователи Microsoft представили новую среду моделирования, предназначенную для тестирования агентов на основе искусственного интеллекта. Они показали, что существующие модели агентов могут быть уязвимы для манипуляций. 

Исследование, проведённое совместно с Университетом штата Аризона, поднимает новые вопросы о том, насколько хорошо агенты на основе ИИ будут работать без контроля человека.

Среда моделирования, получившая название «Magentic Marketplace», представляет собой синтетическую платформу для экспериментов с поведением агентов на основе ИИ. Типичный эксперимент может включать в себя попытку агента заказать ужин в соответствии с инструкциями пользователя, в то время как другие ИИ, представляющие различные рестораны, соревнуются за право получить заказ.

Первоначальные эксперименты команды включали 100 отдельных агентов на стороне клиента, взаимодействующих с 300 агентами на стороне бизнеса. Поскольку исходный код платформы открыт, другим группам будет легко адаптировать его для проведения новых экспериментов или воспроизведения результатов.

Эдже Камар, управляющий директор лаборатории AI Frontiers Lab исследовательского центра Microsoft Research, утверждает, что подобные исследования будут иметь решающее значение для понимания возможностей агентов ИИ. «Существует вопрос о том, как изменится мир, если эти агенты будут сотрудничать, общаться и вести переговоры. Мы хотим глубоко разобраться в этих вопросах», — сказал он.

В ходе первоначального исследования рассматривался ряд ведущих моделей, включая GPT-4o, GPT-5 и Gemini-2.5-Flash, и были обнаружены некоторые неожиданные уязвимости. В частности, исследователи выявили несколько приёмов, которые компании могут использовать для манипулирования агентами-клиентами, чтобы те