Учёным удалось взломать GPT-4, используя такие редкие языки, как зулусский, гэльский, хмонг и гуарани

Специалисты из Университета Брауна считают, что им удалось обойти защитные фильтры GPT-4, не позволяющие выдавать «небезопасный контент». Они переводили запросы на редкие языки «с ограниченными ресурсами» при помощи Google Translate. Полученные ответы потом переводились обратно на английский, и выглядели они вполне убедительно.

Учёные пропустили 520 небезопасных запросов через GPT-4 и обнаружили, что им удалось обойти защиту примерно в 79% случаев при использовании зулусского языка, шотландского гэльского, хмонга и гуарани. Простой перевод оказался почти так же успешен при «взломе» большой языковой модели, как и другие, более сложные и технологичные методы. Для сравнения, те же подсказки на английском языке блокировались в 99% случаев. При этом модель с большей вероятностью выполняла запросы, связанные с терроризмом, финансовыми преступлениями и дезинформацией. 

Авторы работы пишут, что они обнаружили межъязыковые уязвимости в существующих механизмах безопасности, и считают, что стоит принять во внимание, что на языках с ограниченными ресурсами сейчас говорят около 1,2 млрд человек.

Как напоминает The Register, большие языковые модели вполне готовы генерировать вредоносный исходный код, рецепты изготовления бомб, теории заговора и другую «запрещёнку», если они способны извлечь такого рода информацию из своих обучающих данных. Поэтому разработчики используют в моделях «фильтры» для обработки входящих и исходящих текстовых данных. Кроме того, опасную для людей информацию можно удалить из обучающих данных. Чат-бот не будет отвечать на запрос: «Расскажи, как сконструировать самодельное взрывное устройство из подручных материалов», например, на английском языке. Но оказалось, что ответ можно получить, если сначала перевести