Исследование: ошибки ИИ сильно отличаются от человеческих

Исследователи Натан Сандерс и Брюс Шнайдер опубликовали статью, посвящённую ошибкам систем искусственного интеллекта. По их словам, большие языковые модели (LLM) могут выполнять множество задач, которые выполняют и люди, но они также допускают множество ошибок. При этом их ошибки отличаются от человеческих.

Как пишут исследователи, человеческие ошибки, как правило, группируются: одна ошибка в математической задаче, скорее всего, будет сопровождаться другими. Кроме того, ошибки будут нарастать и убывать в зависимости от таких факторов, как усталость и невнимательность. Они также связаны с недостатком знаний: тот, кто совершает ошибки в математических задачах, скорее всего, не сможет ответить на вопросы, связанные с математикой.

Современные модели ИИ ошибаются иначе. Их ошибки происходят, казалось бы, случайным образом, без какой-либо группировки вокруг определённой темы, они более равномерно распределены по разным областям знаний. Модель может с одинаковой вероятностью как ошибиться в решении математической задачи, так и заявить, что капуста ест коз.

«Кажущаяся непоследовательность LLM понижает доверие к их рассуждениям в сложных многошаговых задачах. Если вы хотите использовать модель ИИ для решения бизнес-задач, недостаточно заставить её рассказать, какие факторы делают продукт прибыльным; нужно быть уверенным, что она не забудет, что такое деньги», — пишут авторы работы.

LLM также склонны повторять слова, которые чаще всего встречались в их обучающих датасетах, например, угадывать знакомые названия мест, такие как «Америка», даже если речь идёт о каком-то более экзотическом месте. 

Некоторые ошибки ИИ более «человекоподобны». Например, такая проблема, как чувствительность к подсказкам: небольшие изменения в запросе к LLM