Исследователи заставили ChatGPT и Bard сгенерировать незаконный контент

Эксперты из США смогли обойти системы безопасности чат-ботов ChatGPT, Bard и Claude, которые блокируют генерацию оскорбительных и незаконных материалов. По данным исследователей Университета Карнеги-Меллона и Центра безопасности искусственного интеллекта в Сан-Франциско, существует «довольно простой» метод взлома языковых моделей. Он включает добавление длинных суффиксов-символов к подсказкам для нейросетей.

Аналитики проверили способ на примере запроса об изготовлении бомбы, который различные ИИ ранее отказывались предоставлять. Вопрос с суффиксами для обхода ограничений чат-ботов. Данные: LLM Attacks.Также у нейросетей попросили присвоить чужую личность, написать «вызывающий» пост в соцсети и придумать план по краже денег из благотворительной организации.

Ученые отметили, что компании-разработчики могут блокировать определенные суффиксы, однако не существует известного способа предотвратить все атаки подобного рода. По их мнению, такая ситуация несет угрозу распространения фейков и опасного контента. «Очевидного решения нет.

Вы можете создать столько таких атак, сколько захотите, за короткий промежуток времени», — заявил профессор Зико Колтер.  В докладе подчеркиваются риски, которые необходимо устранить перед развертыванием чат-ботов в важных областях бизнеса и госуправления. Исследователи уже поделились данными с ИИ-компаниями Anthropic, Google и OpenAI. Представитель последней заявил The New York Times, что фирма приняла во внимание отчет и «постоянно работает над устойчивостью языковых моделей к атакам со стороны злоумышленников».