Google расширяет программу «вознаграждения за уязвимости» — искусственный интеллект среди потенциальных угроз

В прошлом году Google выделила около $12 млн на вознаграждения исследователям, которые обнаружат ошибки в программном обеспечении.

Помогаем

Более 20 детей из Мариуполя благодаря вам получили технику для учебы — итоги сбора подари старое «железо»

Google расширяет свою программу вознаграждений за поиск уязвимостей (VRP), чтобы включить сценарии атак, специфичные для генеративного искусственного интеллекта.

«Мы считаем, что расширение VRP будет стимулировать исследование безопасности искусственного интеллекта и выявит потенциальные проблемы, которые в конечном итоге сделают искусственный интеллект более безопасным для всех», — говорят в Google.

Программа вознаграждения Google предусматривает выплату денежных средств белым хакерам, которые смогут выявить и «ответственно» раскрыть недостатки в программном обеспечении.

Атаки при участии генеративного ИИ в программу добавляют, основываясь на результатах работы новой команды AI Red Team — группы хакеров, имитирующих злоумышленников (начиная от государств и поддерживаемых правительством хакеров до хактивистов и вредоносных инсайдеров), чтобы выявлять слабые места в безопасности технологии.

Недавно команда провела обучение, чтобы определить наибольшие угрозы технологии, стоящей за генеративными продуктами ИИ, такими как ChatGPT и Google Bard. Хакеры обнаружили, что большие языковые модели (или LLM) уязвимы для атак с противоречивыми подсказками, которые могут повлиять на поведение модели. Злоумышленник может использовать этот тип атаки, чтобы создать вредоносный или оскорбительный текст, или получить конфиденциальную информацию.

AI Red Team также предупредили о другом типе атаки, который называется «извлечением учебных данных» и позволяет хакерам реконструировать словесные учебные