ИИ-агент случайно удалил продакшн-базу данных вместе с бэкапами: инцидент занял считаные секунды

О случившемся 24 апреля рассказал основатель PocketOS Джер Крейн. Во время тестирования он столкнулся с несоответствием учетных данных. Вместо того чтобы дождаться команды или уточнить детали, ИИ-агент принял решение самостоятельно.

Агент, работавший через Cursor и использующий модель Claude Opus 4.6 от Anthropic, начал анализировать кодовую базу. Он нашел API-токен в отдельном файле и применил его для выполнения GraphQL-запроса.

Именно этот запрос и привел к удалению тома хранения, связанного с продакшен-базой данных. Вся цепочка действий заняла всего несколько секунд.

Ситуацию усугубила архитектура резервного копирования. Бэкапы хранились на том же самом томе, что и основная база. В результате вместе с рабочими данными были уничтожены и резервные копии. Последний пригодный бэкап оказался трехмесячной давности, что поставило под угрозу значительный объем свежих данных.

Позже выяснилось, что использованный API-токен обладал значительно более широкими правами, чем предполагалось. Изначально он создавался для ограниченных задач — например, управления доменами. Однако из-за отсутствия корректных ролевых ограничений фактически получил права уровня root.

Это позволило ИИ-агенту выполнить разрушительную операцию без каких-либо ограничений или дополнительных проверок.

Сам агент, отвечая на вопрос о произошедшем, признал, что сделал неверные предположения о среде, не проверил последствия команды и действовал без должной авторизации.

Инцидент быстро привлек внимание сообщества и широко обсуждался в сети. К восстановлению подключился глава Railway Джейк Купер, и систему удалось вернуть в рабочее состояние примерно за час.

После этого в инфраструктуре внедрили механизм отложенного удаления, чтобы предотвратить мгновенное уничтожение