Исследование: неэффективные методы защиты от ИИ возвращают кибербезопасность в 1990-е годы

Искусственный интеллект и его методы защиты откатывают отрасль кибербезопасности в 90-е годы. К таким выводам пришли ИБ-исследователи, которые представили свои доклады на конференции Black Hat.

Так, Ребекка Линч и Рич Харанг из Nvidia продемонстрировали внедрение вредоносных данных в ИИ-агентов в формате наподобие SQL-инъекций, только вместо кода в большую языковую модель поступают неверные данные. По словам Линч и Харанга, «отравление» входных данных может привести к неправильным размышлениям и ответам ИИ. Проблема в том, что ИИ собирает информацию из разных источников, что открывает множество возможностей для злоумышленников.

Для защиты исследователи ставят фильтры на разных этапах обработки данных, но такие меры не всегда эффективны. Как рассказал Тамир Ишай Шарбат из ИБ-компании Zenity, механизм защиты включает фильтры на входе и выходе, но между языковой моделью и её инструментами такого контроля нет. Это создаёт лазейки, которые позволяют получить важные данные с помощью промптов без взлома кода. Экспертам из Zenity удалось взломать Microsoft Copilot Studio, OpenAI ChatGPT, Google Gemini, Salesforce Einstein и Cursor, в некоторых случаях используя одну модель для атаки на другую.

По словам исследователей, многие компании очень серьёзно отнеслись к уязвимостям своих моделей. Microsoft исправила работу Copilot так, чтобы промпты, которые использовал Шарбат, больше не работали. Однако, по словам Шарбата, это не решит проблему: злоумышленники всегда могут придумать другие промпты, чтобы обойти блокировки.

По словам экспертов, ИИ заставляет разработчиков забывать об уроках, извлечённых за последние 25 лет, в стремлении максимально быстро внедрять технологии и получать прибыль.

«Агенты ИИ подобны младенцам. За ними нужно