Оценки выросли, знания — нет: как ChatGPT надул успеваемость в вузах

Оценки в американских вузах резко поползли вверх после появления ChatGPT — но не потому, что студенты стали больше знать. К такому выводу пришел Игорь Чириков из Калифорнийского университета в Беркли, проанализировавший более 500 тысяч оценок в крупном исследовательском университете Техаса за восемь осенних семестров с 2018 по 2025 год. В курсах, где много письменных заданий и кода — то есть там, где ИИ силен, — доля высших оценок A выросла на 13 процентных пунктов (примерно на 30% к уровню 2022 года), а средний балл прибавил 0,12. Распределение при этом сжалось: оценки уровня A-минус и B-плюс все чаще превращаются в чистые A.

Чтобы понять, стоит ли за этим реальное обучение или ИИ просто делает работу за студентов, Чириков сравнил курсы по тому, сколько в итоговой оценке весит домашняя работа. Логика простая: если ИИ действительно учит, оценки должны расти везде одинаково; если же он подменяет работу на неконтролируемых заданиях, эффект соберется там, где домашка весит больше. Данные показали второе. В курсах, где вес домашних заданий выше медианного, доля A выросла на дополнительные 16 пунктов по сравнению с курсами той же "ИИ-уязвимости", но с малым весом домашки. Там, где оценка опирается на экзамены под надзором, эффект незначимый.

Это не похоже на обычную инфляцию оценок, которой американские вузы славятся и без всякого ИИ. Во-первых, "ИИ-уязвимость" каждого курса Чириков считал по учебным программам осени 2022 года — то есть по структуре заданий, сложившейся еще до выхода ChatGPT. Во-вторых, он прогнал плацебо-тест: на устных презентациях, где ИИ почти бесполезен, оценки не сдвинулись вообще. Такую картину, пишет автор, трудно объяснить одним лишь ростом знаний.

Практических следствий два. Оценка как сигнал теряет