Microsoft: ИИ пока не способен заменить программистов

• Microsoft представила debug-gym — инструмент для тестирования ИИ в отладке.
• Модели справляются с задачами хуже людей даже при доступе к профи-инструментам.
• ИИ может помогать, но пока не готов к полной замене разработчиков.

Несмотря на успехи в автоматизации кода, искусственный интеллект пока далек от того, чтобы заменить программистов, особенно в вопросах отладки ПО. Об этом свидетельствуют исследования Microsoft Research, представившей среду debug-gym. Это специальный симулятор для тестирования и улучшения ИИ-агентов при отладке реальных кодовых баз.

В отличие от популярных решений вроде GitHub Copilot, debug-gym дает ИИ доступ к инструментам, которые ранее были недоступны моделями. Речь идет о точках прерывания, перемещению по коду, чтению переменных и написанию тестов. Это позволяет моделям действовать ближе к тому, как работает разработчик-человек, но даже с этим они все еще показывают лишь 48,4% успешных решений, считают эксперты.

Исследователи считают, что проблема кроется в отсутствии обучающих данных с пошаговыми отладочными сценариями. Кроме того, модели пока не умеют эффективно использовать отладочные инструменты. Следующим шагом может стать создание вспомогательной модели, которая будет собирать нужную информацию и передавать ее основной.

Авторы подчеркивают, что главная ценность таких ИИ — это помощь человеку, а не его замена. Даже при генерации кода под конкретные задачи модели часто создают уязвимости и нестабильные решения. В этом контексте надежда на «полную автоматизацию» разработки пока выглядит преждевременной.

Подводя итог эксперты отметили, что развитие агентного ИИ в программировании двигается вперед, но роль человека остается ключевой. Разработчики остаются незаменимыми в сложных задачах анализа,