Исследование Anthropic: ИИ-инструменты программирования вредят обучению, если не задаваться вопросом «почему»

Разработчики, осваивающие новые навыки программирования с помощью ИИ, показывают значительно худшие результаты в тестах на знание предмета. Новое исследование, опубликованное в журнале Anthropic, вызывает опасения по поводу чрезмерного внедрения ИИ на рабочем месте.

Согласно новому исследованию компании Anthropic, занимающейся разработкой искусственного интеллекта, разработчики программного обеспечения, которые полагаются на помощь ИИ при изучении новой библиотеки программирования, хуже понимают лежащие в ее основе концепции.

Исследователи набрали 52 преимущественно начинающих разработчиков программного обеспечения, которые регулярно работали с Python не менее года и имели опыт работы с ИИ-помощниками, но не были знакомы с библиотекой Trio. Участники были случайным образом разделены на две группы: одна имела доступ к ИИ-помощнику на основе GPT-4o, а контрольная группа работала только с документацией и веб-поиском. Обе группы как можно быстрее решили две задачи программирования с использованием библиотеки Trio.

Затем все участники прошли тест на знание используемых концепций. Участники, имевшие доступ к ИИ, показали результаты на 17 процентов хуже, чем контрольная группа. Использование ИИ также не привело к существенной экономии времени в среднем.

«Наши результаты показывают, что активное внедрение ИИ в рабочую среду, особенно в сфере разработки программного обеспечения, сопряжено с определенными компромиссами», - пишут исследователи Джуди Ханвен Шен и Алекс Тамкин.

То, как разработчики взаимодействуют с ИИ, существенно влияет на результаты обучения. Качественный анализ видеозаписей экрана 51 участника выявил шесть различных моделей взаимодействия. Три из них привели к низким результатам тестирования, с оценками в викторине от