Исследование: нейросеть Devin, которую позиционируют как «ИИ-программиста», плохо справляется со своей работой

Инструмент Devin, который создатели позиционировали как замену программистам-людям, слабо справляется со своей работой. К такому выводу пришли специалисты научно-исследовательской лаборатории Answer.AI. Протестировав Devin, они обнаружили, что он успешно выполнил только три из двадцати задач. Devin «застревал» в заданиях или создавал слишком сложные, непригодные для использования решения.

Американский стартап Cognition представил нейросеть Devin в марте 2024 года. Разработчики рассказали, что инструмент способен рассуждать, самостоятельно планировать и реализовывать проекты в области написания ПО и принимать по мере их выполнения различные решения. Также ИИ проекта не только обучается, но и исправляет допущенные ошибки и ориентируется в контексте.

Согласно пояснению Cognition, основные возможности нейросети Devin включают в себя:

комплексную разработку приложений — создание и развёртывание полнофункциональных веб-приложений, добавление новых опций в проект по мере поступления отзывов от пользователей;

адаптацию к новым технологиям — освоение незнакомых инструментов с помощью чтения документации;

обучение ИИ — установка и настройка больших языковых моделей на основе инструкций из различных открытых репозиториев;

автономное обнаружение ошибок — выявление, исправление и отлаживание проблем в коде. В этом случае Devin выступает полноценным участником в разработке проектов;

умение самостоятельно решать программные задачи по веб-разработке и другим направлениям на различных биржах фриланса, включая Upwork.

Как сообщает The Register со ссылкой на исследователей из Answer.AI, испытания Devin начались хорошо: ИИ успешно перенёс данные из базы данных Notion в Google Таблицы и создал трекер для проверки информации о положениях Юпитера и