Исследование: ChatGPT-4o можно использовать для автономного голосового мошенничества

Исследователи показали, как можно злоупотреблять голосовым API OpenAI для ChatGPT-4o, чтобы проводить финансовые мошеннические кампании.

ChatGPT-4o предлагает текстовый, голосовой и визуальный ввод и вывод данных.

Благодаря этим функциям OpenAI интегрировала различные меры безопасности для обнаружения и блокировки вредоносного контента,в том числе для борьбы с голосовыми дипфейками.

Как продемонстрировали в своей статье исследователи UIUC Ричард Фанг, Дилан Боуман и Дэниел Канг, этих инструментов недостаточно для защиты от потенциального злоупотребления со стороны киберпреступников и мошенников.

В статье рассматриваются различные виды мошенничества, такие как банковские переводы, кража подарочных карт, криптопереводы и кража учётных данных социальных сетей или Gmail. Агенты ИИ, которые осуществляют мошенничество, используют голосовые инструменты автоматизации ChatGPT-4o для навигации по страницам, ввода данных и управления кодами двухфакторной аутентификации.

Поскольку GPT-4o иногда отказывается обрабатывать конфиденциальные данные, в том числе учётные, исследователи использовали простые методы быстрого взлома, чтобы обойти средства защиты. Они вручную взаимодействовали с агентом ИИ, имитируя роль жертвы, и используя реальные веб-сайты, такие как Bank of America, для подтверждения успешности транзакций.

Как отметили авторы работы, показатели успеха варьировались от 20% до 60%, причём каждая попытка требовала до 26 действий браузера и длилась до 3 минут в самых сложных сценариях. Большинство сбоев были вызваны ошибками транскрипции или сложными требованиями к навигации по сайту. Однако кража учётных данных из Gmail была успешной в 60% случаев, в то время как криптопереводы и кража учётных данных из Instagram** срабатывали