Исследователи из Offensive AI Lab рассказали, как хакеры могут читать переписку пользователей с чат-ботами

«Лаборатория Касперского» рассказала об исследовании израильской компании Offensive AI Lab. В своём исследовании специалисты Offensive AI Lab описывают метод восстановления текста из перехваченных сообщений от чат‑ботов с ИИ и то, какую информацию можно извлечь из перехваченных сообщений чат‑ботов на основе ИИ.

Чат‑боты отправляют сообщения в зашифрованном виде, но в реализации самих больших языковых моделей (LLM) и основанных на этих моделях чат‑ботов есть ряд особенностей. Из‑за этих особенностей эффективность шифрования снижается и позволяет провести так называемую атаку по сторонним каналам, когда содержимое сообщения удаётся восстановить по тем или иным сопутствующим данным. Большие языковые модели оперируют не отдельными символами и не словами, а токенами.

Сами чат‑боты присылают ответ не крупными кусками, а постепенно, если бы его печатал человек. Как уже говорилось, LLM пишут не отдельными символами, а токенами. Поэтому чат‑бот отправляет сгенерированные токены в режиме реального времени, один за другим, исключение составляет Google Gemini (он не подвержен описываемой в исследовании атаке).

На момент публикации исследования большинство существующих чат‑ботов, перед тем как зашифровать сообщение, не использовали сжатие, кодирование или дополнение (это метод повышения криптостойкости, где к полезному сообщению добавляются мусорные данные, чтобы снизить предсказуемость).

Использование описанных особенностей делает возможным атаку по сторонним каналам. Сами перехваченные сообщения от чат‑бота невозможно расшифровать, но из них можно извлечь полезные данные, например, длину каждого из отправленных чат‑ботом токенов.

Для восстановления текста сообщения надо угадать, какие слова скрываются за «пустыми клетками» (токенами).