DeepMind научила ИИ-агентов взаимодействовать с людьми

Исследователи лаборатории Deepmind разработали ИИ-агентов, которые могут естественным образом взаимодействовать с людьми и учиться у них.

How can AI begin to interact naturally with people?Introducing a new framework where agents can improve their behaviour using human feedback. Tested in a virtual playhouse, agents can listen, ask questions and perform actions in real-time. https://t.co/zw5c9hmSLH pic.twitter.com/irbt6govk8— DeepMind (@DeepMind) November 23, 2022 Для этого разработчики создали интерактивную трехмерную среду, в которой ИИ-агенты и люди свободно перемещались, взаимодействовали и общались в качестве аватаров. Обмен информацией между ними происходил на естественном языке в чате.

https://www.youtube.com/watch?v=v_Z9F2_eKk4 В трехмерной среде исследовательская группа также собирала данные о взаимодействии для обучения с подкреплением. Согласно Deepmind, сгенерированный датасет включает 25 лет взаимодействия в реальном времени между агентами и сотнями людей.

Для создания продвинутых ИИ-аватаров исследователи скопировали поведение пользователей в виртуальной среде. В противном случае ИИ-агенты действовали бы беспорядочно и непонятным людям образом, рассказали в Deepmind.

Затем разработчики оптимизировали поведение с помощью обратной связи с человеком с помощью обучения с подкреплением в соответствии с классическим принципом проб и ошибок. Однако модель вознаграждений они основали на оценке людей способности достижения целей, а не количестве собранных баллов.

Затем на основе этих взаимодействий Deepmind натренировала систему поощрений, предсказывающую предпочтения реальных пользователей. Она служила механизмом обратной связи для дальнейшей оптимизации агентов.

Процесс обучения ИИ-агентов. Данные: