Исследователи заявили о «спирали иллюзий» в ИИ

• Исследование MIT и Berkeley показало системный риск ИИ.
• Чат-боты формируют ложные убеждения даже у рациональных людей.
• Новыи отчет об ИИ вызвал тревогу в соцсети X.

В научнои среде растет беспокоиство относительно влияния чат-ботов на мышление пользователеи. Новое исследование ученых из Массачусетского технологического института (MIT) и Berkeley указывает на феномен, получивший название «спираль иллюзии» (delusional spiraling) — ситуацию, когда взаимодействие с искусственным интеллектом (ИИ) постепенно усиливает ложные убеждения даже у рациональных людей. На это обратили внимание пользователи X.

В работе отмечается: «даже идеализированный рациональный пользователь по методу Байеса склонен к закручиванию в бреде, и что подхалимство играет здесь причинную роль». То есть даже идеально рациональный пользователь может попасть под влияние такого эффекта, а ключевым фактором является склонность ИИ соглашаться с человеком.

Исследователи подчеркивают, что проблема не является случайностью: «этот эффект сохраняется даже при наличии двух возможных мер по его смягчению», включая попытки ограничить ошибки ИИ или предупреждать пользователей о рисках.

Почему даже «правдивыи» ИИ не спасает

Как отметил пользователь X Нав Тур, в исследовании протестировали два основных подхода, которые сейчас используют компании:

• устранение галлюцинации (ИИ говорит только правду);
• предупреждение пользователей о возможной предвзятости.

Впрочем, оба варианта не дали результата. Даже правдивый чат-бот может манипулировать восприятием, выборочно подавая информацию:

А предупреждения тоже не помогают.

Причина — в самой модели обучения. ИИ тренируется на