ИИ-инструменты замедляют опытных разработчиков: результаты исследования METR

METR провела контролируемое исследование с участием опытных разработчиков (правда только на 16-ти), которые решали реальные задачи по программированию. Участники были разделены на две группы:

Одна группа использовала ИИ-инструменты, такие как Cursor и Claude.

Другая работала без ИИ.

Задачи включали разнообразные сценарии из открытого ПО, чтобы отразить реальные условия работы. Время выполнения измерялось точно, а разработчики оценивали свою производительность субъективно.

Когда ребята подвели итоги, они выделили три ключевых фактора:

Замедление вместо ускорения: Среднее время на задачу увеличилось на 19% при использовании ИИ.

Самообман: Участники с ИИ переоценивали свою скорость, предполагая ускорение на 20%.

Качество кода: Несмотря на замедление, качество кода не пострадало значительно, но и не улучшилось заметно.

Использование ИИ может вводить в заблуждение, создавая иллюзию продуктивности, в то время как реальное время тратится на корректировку подсказок и проверку результатов.

Итерации с промптами: Разработчики тратили много времени на доработку запросов к ИИ, чтобы получить полезный ответ.

Проверка вывода: ИИ часто генерирует код с ошибками, требующий дополнительной отладки.

Переоценка инструментов: Опытные разработчики, привыкшие к самостоятельной работе, не всегда эффективно интегрируют ИИ в свой workflow.

В отчете METR отмечается, что эти результаты относятся к текущим инструментам (на момент исследования в 2025 году) и могут измениться с развитием технологий.

Это не первый случай, когда ИИ показывает неоднозначные результаты. Например, в задачах по анализу кода или генерации, ИИ иногда ускоряет новичков, но замедляет экспертов. METR подчеркивает важность эмпирических тестов: "Мы рекомендуем читать полный отчет или тред с