Ученые назвали способность ИИ-моделей к рассуждениям «хрупкой иллюзией»

• Исследователи из Университета Аризоны заявили, что модели с «цепочкой мыслей» не обладают истинными навыками обобщенных рассуждений.
• Эксперименты показали, что при малейшем отклонении от обучающих данных точность таких моделей резко падает.
• Ученые предупреждают, что нельзя приравнивать работу LLM к человеческому мышлению, особенно в критически важных областях.

Исследование Университета Аризоны поставило под сомнение реальную способность ИИ-моделей рассуждений к логическим выводам. Авторы работы отмечают, что такие проекты чаще воспроизводят знакомые шаблоны, чем формируют осмысленные умозаключения.

Чтобы проверить это, исследователи создали тестовую среду DataAlchemy. В ней небольшие LLM обучали простым текстовым преобразованиям, включая ROT-шифр и циклические сдвиги. Затем ИИ просили комбинировать их в новых последовательностях, которых не было в обучающем наборе.

Результаты показали, что при столкновении с незнакомыми комбинациями функций модели часто давали либо правильный ответ с неправильным «обоснованием», либо наоборот — верные рассуждения, но неверный результат. Даже незначительные изменения формата задачи, например, длины текста или символов, приводили к резкому снижению точности.

Ученые подчеркнули, что добавление в тренировку небольшой доли релевантных данных через контролируемую донастройку (SFT) действительно улучшает показатели. Однако это не решает главную проблему — отсутствие у LLM способности к абстрактному мышлению. Такой подход они назвали «заплаткой», а не фундаментальным решением.

По их словам, цепочки мыслей в нынешнем виде являются «структурированным