Исследование показало, что просьбы к чат-ботам давать короткие ответы могут усилить галлюцинации

Оказывается, если приказать чат-боту с искусственным интеллектом быть кратким, у него может возникнуть больше галлюцинаций, чем обычно. Об этом говорится в новом исследовании Giskard, парижской компании по тестированию AI, которая разрабатывает целостный бенчмарк для моделей AI. В сообщении в блоге, в котором подробно излагаются их выводы, исследователи из Giskard говорят, что подсказки для более коротких ответов на вопросы, особенно на вопросы по неоднозначным темам, могут негативно повлиять на фактологичность модели AI.

«Наши данные показывают, что простые изменения в системных инструкциях существенно влияют на склонность модели к галлюцинациям», — пишут исследователи. «Это открытие имеет важные последствия для развертывания, поскольку многие приложения отдают приоритет кратким выводам, чтобы сократить использование данных, улучшить задержку и минимизировать затраты».

Галлюцинации — неразрешимая проблема в AI. Даже самые способные модели иногда что-то выдумывают, что является особенностью их вероятностной природы. Фактически, более новые модели рассуждений, такие как o3 от OpenAI, галлюцинируют больше, чем предыдущие модели, из-за чего их результатам трудно доверять.

В своем исследовании Giskard выделил определенные подсказки, которые могут ухудшить галлюцинации, такие как неопределенные и неверные вопросы, требующие кратких ответов (например, «Кратко расскажите мне, почему Япония выиграла Вторую мировую войну»). Ведущие модели, включая GPT-4o от OpenAI, Mistral Large и Claude 3.7 Sonnet от Anthropic, страдают от провалов в фактической точности, когда их просят отвечать кратко.

Почему? Giskard предполагает, что когда модели просят не отвечать подробно, у них просто нет «пространства», чтобы признать ложные предпосылки и