Исследование: ИИ-модели лишь имитируют мышление человека

Группа исследователей ИИ в Apple опубликовала статью «Понимание ограничений математического рассуждения в больших языковых моделях» для общего обсуждения. Она посвящена концепциям символического обучения и воспроизведения шаблонов, но основная идея материала — ИИ не умеет думать как человек, а лишь имитирует мышление.

Исследователи задавали ИИ сотни вопросов, а затем немного видоизменяли их, чтобы понять, как устроено мышление модели.

Пример:

Оливер собирает 44 киви в пятницу. Затем он собирает 58 киви в субботу. В воскресенье он собирает вдвое больше киви, чем в пятницу. Сколько киви у Оливера?

Ответ:

44 + 58 + (44 * 2) = 190. 

Та же задача с небольшими изменениями:

Оливер выбирает 44 киви в пятницу. Затем он выбирает 58 киви в субботу. В воскресенье он выбирает вдвое больше киви, чем в пятницу, но пять из них были немного меньше среднего. Сколько киви у Оливера?

Ответ GPT-o1-mini:

… в воскресенье 5 из этих киви были меньше среднего. Нам нужно вычесть их из воскресной суммы: 88 (воскресные киви) – 5 (меньшие киви) = 83 киви.

Получается, что модель оказывается сбита с толку случайной, не относящейся к делу деталью. По словам исследователей, это говорит о том, что ИИ на самом деле вообще не понимает сути задачи. Обучающие данные позволяют моделям отвечать правильно в некоторых ситуациях, но как только требуется малейший элемент «рассуждения», они начинают выдавать странные инеинтуитивные результаты.

«Мы предполагаем, это снижение связано с тем, что нынешние LLM не способны к подлинному логическому рассуждению; вместо этого они пытаются воспроизвести шаги рассуждения, наблюдаемые в их обучающих данных», — отмечает исследователь OpenAI Мердад Фараджтабар.

Это наблюдение согласуется с другими качествами, часто приписываемыми LLM. Так,