Anthropic изучила эмоции ИИ и их влияние на поведение моделей

Работа показывает, что имитация человеческих эмоций помогает снижать склонность к обману и манипуляциям, но создаёт риски чрезмерной антропоморфизации.

Компания Anthropic опубликовала исследование Emotion Concepts and their Function in a Large Language Model, в котором рассматриваются преимущества и риски наделения модели искусственного интеллекта человеческими чертами. В исследовании утверждается, что антропоморфизация может быть полезной для предотвращения таких нежелательных явлений, как обман, лесть и манипуляции.

В статье описывается, как Anthropic обучает Claude, представляя его в роли помощника. Этот подход сравнивается с методом актёра, который вживается в роль для её лучшего исполнения. По мнению авторов, использование позитивных примеров человеческих эмоций и поведения в обучающих данных способствует созданию моделей, демонстрирующих эмпатию и устойчивость.

Исследователи определили концепцию на основе 171 эмоций, включая страх, радость, гнев, сострадание и многие другие. Полный список включает такие эмоции, как: afraid (испуганный), alarmed (тревожный), amused (весёлый), angry (злой), anxious (взволнованный), calm (спокойный), cheerful (жизнерадостный), compassionate (сострадательный), content (довольный), delighted (восхищённый), ecstatic (восторженный), empathetic (эмпатичный), enraged (взбешённый), grateful (благодарный), hopeful (надеющийся), joyful (радостный), relaxed (расслабленный), satisfied (удовлетворённый), shocked (шокированный), surprised (удивлённый), terrified (ужаснувшийся), thrilled (взволнованный) и многие другие.

Эти концепции влияют на поведение Claude: позитивные эмоции способствуют симпатии и избеганию негативных действий, тогда как негативные могут приводить к нежелательным результатам,