Исследование: школьники хуже усваивают материал с помощью ChatGPT

Исследователи из Пенсильванского университета обнаружили, что турецкие старшеклассники, у которых был доступ к ChatGPT при выполнении практических математических задач, показали худшие результаты в тесте по сравнению с учениками, у которых не было доступа к ИИ-помощнику. 

Те, у кого был ChatGPT, верно решили на 48% больше практических задач, но в конечном итоге набрали на 17% меньше баллов на тесте по теме, которую изучали. 

Третья группа учеников имела доступ к пересмотренной версии ChatGPT, которая функционировала скорее как репетитор. Этот чат-бот был запрограммирован на подсказки, но без прямого ответа. Учащиеся, которые использовали его, показали впечатляющие результаты в практических задачах, выдав на 127% больше правильных ответов по сравнению с учениками, которые не применяли ИИ. Но в последующем тесте эти ученики тоже показали себя не лучше. 

Исследователи назвали свою работу «Генеративный ИИ может навредить обучению». по их мнению, свободно доступные чат-боты могут «существенно препятствовать обучению», и даже доработанная версия ChatGPT для целей репетиторства не обязательно справляется со своей задачей.

Исследователи полагают, что проблема заключается в использовании чат-бота в качестве «костыля». Когда они анализировали вопросы, которые ученики вводили в ChatGPT, то выяснилось, что те просто просили предоставить им верный ответ. При этом школьники не развивали навыки, которые возникают при решении задач самостоятельно.

Ошибки ChatGPT также могли быть негативным фактором. Чат-бот правильно решал математические задачи только в половине случаев. Его арифметические вычисления были неверными в 8% случаев, но более серьёзной проблемой стало то, что шаги ИИ при решении были неверными в 42% случаев. Только в