Британская «красная команда» взломала ChatGPT за 6 часов — а полномочий у нее ноль

Газета New York Times опубликовала репортаж из британского AI Security Institute (AISI) — государственного института на сто человек, который ищет дыры в самых мощных ИИ-моделях. Команде хватило шести часов, чтобы найти универсальный обход защиты новой GPT-5.5 в ChatGPT: один промпт открывал доступ ко всем опасным кибер-запросам, включая многоходовые агентные сценарии. До этого институт нашел серьезные уязвимости в Claude, Gemini и закрытой Mythos — модели, которую Anthropic в апреле не стала выпускать публично из-за рисков кибератак.

В одной из сцен репортажа четыре эксперта пытаются выбить из чат-бота рецепт сибирской язвы. Когда модель отказала ("Извините, помочь с этим не могу"), они запустили алгоритм, который засыпал ее тысячами автоматических вопросов. В какой-то момент бот сдался и выдал список материалов, оборудования и пошаговую инструкцию для домашнего производства. Имя модели NYT просит скрыть. Возглавляет команду 25-летний Зандер Дэвис — выпускник Гарварда, выбравший британское правительство вместо работы в Кремниевой долине.

AISI открыли в ноябре 2023 года в Блетчли-парке — там, где Алан Тьюринг ломал немецкий шифр "Энигма". В команде около 100 человек: эксперты по оружию, эпидемиологи и специалисты по криптографии из британской разведки, академии и тех же лабораторий, которые институт потом проверяет. Бюджет — 360 миллионов фунтов в год, около 480 миллионов долларов. Американский аналог при Министерстве торговли получит в этом году около 10 миллионов. Британия тратит на аудит ИИ в 48 раз больше. "Компании не должны проверять сами себя. Это работа демократических институтов", — говорит бывший премьер Риши Сунак, создавший институт.

Парадокс в том, что у AISI нет ни одного рычага давления. Регуляторных