Исследование: ИИ-инструменты замедляют разработку ПО с открытым кодом на 19%

• Ожидания программистов не оправдались, поскольку вместо ускорения ИИ-инструменты замедлили выполнение задач.
• Основные потери времени связаны с проверкой результатов генерации, ожиданием ответов и контекстной неэффективностью.
• Результаты подрывают популярный нарратив об автоматизации кодирования с помощью ИИ.

Свежее исследование от организации Model Evaluation and Threat Research (METR) показало, что опытные разработчики ПО с открытым исходным кодом тратили на 19% больше времени на выполнение задач с ИИ-инструментами. Это противоречит как их собственным ожиданиям, так и распространенному мнению о повышении продуктивности с помощью ИИ, говорится в отчете.

В эксперименте участвовали 16 профессиональных разработчиков, которые решали реальные задачи поддержки репозиториев — от исправлений багов до рефакторинга. Половина заданий выполнялась с помощью таких ИИ, как Claude и Cursor Pro, остальная — без них. Несмотря на то, что программисты ожидали прироста эффективности до 24%, задачи с применением программ на базе искусственного интеллекта фактически выполнялись медленнее.

Записи экрана показали, что хотя ИИ ускоряет написание и тестирование кода, это преимущество нивелируется затратами времени на формулировку запросов, проверку результатов и ожидание генерации. В 56% случаев разработчикам пришлось вручную корректировать предложенный код, а 9% времени ушло исключительно на валидацию ответов ИИ.

Исследователи отмечают, что существующие бенчмарки, как правило, основаны на упрощенных или синтетических задачах. В то же время кодовые базы, с которыми работали участники METR, насчитывали миллионы