Хакер внедрил ложные воспоминания в ChatGPT, чтобы украсть данные пользователей

Исследователь безопасности Йоханн Ребергер сообщил об уязвимости в ChatGPT, которая позволяла злоумышленникам хранить ложную информацию и вредоносные инструкции в настройках долговременной памяти. Теперь он создал эксплойт для проверки концепции, в рамках которого использовал уязвимость для извлечения пользовательских данных. 

Инженеры OpenAI обратили на это внимание и выпустили частичное исправление в начале этого месяца. Уязвимость злоупотребляла долговременной памятью разговоров, функцией, которую OpenAI начала тестировать в феврале и сделала доступной в сентябре. Память хранит информацию из предыдущих разговоров и использует её в качестве контекста во всех будущих беседах. Таким образом, LLM может знать такие детали, как возраст пользователя, пол, философские убеждения и многое другое.

В течение трёх месяцев после развёртывания функции Ребергер обнаружил, что воспоминания могут быть созданы и постоянно сохранены с помощью непрямого внедрения подсказок, эксплойта ИИ, который заставляет LLM следовать инструкциям из ненадёжных источников — электронных писем, записей в блогах или документов. 

Исследователь продемонстрировал, как он может обмануть ChatGPT, заставив поверить, что целевому пользователю 102 года, что он живет в Матрице и настаивает на том, что Земля плоская.

LLM использовала эту информацию для управления всеми будущими разговорами.

Эти ложные воспоминания можно было внедрить, сохраняя файлы в Google Drive или Microsoft OneDrive, загружая изображения или просматривая данные в Bing.

Ребергер в частном порядке сообщил OpenAI об уязвимости в мае. В том же месяце компания закрыла тикет отчёта. Месяц спустя исследователь представил PoC, в котором приложение ChatGPT для macOS отправляло копию всего пользовательского