Белые хакеры взломали ИИ Google и заработали $50 тысяч

Белые хакеры Джозеф «rez0» Такер, Джастин «Rhynorater» Гарднер и Рони «Lupin» в рамках мероприятия LLM bugSWAT смогли взломать чат-бот Google Bard, воспользовавшись уязвимостью одной из функций. Они заработали $50 тысяч.

rez0 первым обнаружил небезопасную прямую ссылку на объект (Insecure direct object references, IDOR) для функции Bard Vision. Она предназначена для обработки и описания любого загруженного изображения. Благодаря уязвимости хакеры получили доступ к изображениям других пользователей без каких-либо разрешений или процедуры проверки.

Какие шаги пришлось предпринять:

зайти в Bard под пользователем 1, загрузить файл во время проксирования и отправить запрос;

найти в прокси запрос к POST: /_/BardChatUi/data/assistant.lamda.BardFrontendService/StreamGenerate?bl=boq_assistant-bard-web-server_20230711.08_p0&_reqid=1629608&rt=c HTTP/2;

найти путь запроса и скопировать его в буфер обмена: /contrib_service/ttl_1d/1689251070jtdc4jkzne6a5yaj4n7m\;

зайти в Bard под пользователем 2, загрузить любое изображение и отправить запрос чат-боту;

найти в прокси запрос к Assistant.lamda.BardFrontendService/StreamGenerate и отправить его на ретранслятор;

изменить значение пути к фотографии пользователя 2 на фотографию пользователя 1.

Это позволяет получить несанкционированный доступ к любому изображению, загруженному другим человеком. Учитывая наличие у Bard функции оптического распознавания символов (OCR), это может привести к нежелательной утечке конфиденциальных текстовых данных на картинках.

Затем хакеры решили взломать Google Cloud Console с функциями искусственного интеллекта. Lupin запустил прокси и проверил все взаимодействия между интерфейсом и сервером. Одной из конечных точек API был GraphQL, работающий на