ИИ помогает писать код, но мешает учиться — эксперимент Anthropic

Anthropic провела рандомизированное контролируемое испытание с 52 разработчиками, чтобы выяснить, как ИИ-ассистенты влияют на освоение новых навыков. Результат: группа с доступом к ИИ набрала на тесте 50% против 67% у тех, кто писал код вручную.

Участники — в основном junior-разработчики с опытом работы на Python — изучали библиотеку Trio для асинхронного программирования. Одни могли в любой момент попросить ИИ-ассистента написать или исправить код, другие справлялись сами. Сразу после задания обе группы проходили тест на понимание материала. Скорость выполнения у группы с ИИ оказалась чуть выше, но статистически незначимо.

Самый большой разрыв — в вопросах на отладку. Это тревожный сигнал: именно навык находить ошибки критически важен для проверки кода, который пишет ИИ. Возникает замкнутый круг: чтобы проверять код ИИ, нужны навыки, которые при работе с ИИ развиваются хуже.

Впрочем, не все так однозначно. Исследователи выделили паттерны поведения: те, кто полностью делегировал код ИИ, показали худшие результаты, а те, кто просил объяснений и задавал концептуальные вопросы, учились почти так же хорошо, как контрольная группа. Способ взаимодействия с ИИ оказался важнее самого факта его использования.

Авторы статьи предупреждают: компаниям стоит осознанно подходить к внедрению ИИ-инструментов, особенно для начинающих разработчиков. Иначе рост продуктивности сегодня обернётся дефицитом навыков завтра — как раз тех, что нужны для проверки ИИ-кода.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.