Как «взломать» ChatGPT и Google AI за 20 минут — журналистский эксперимент

• Журналист BBC показал, как один пост в сети может менять ответы чат-ботов у других людей.
• Эксперты предупреждают, что ИИ проще обмануть чем классический поиск и это опасно.
• Google и OpenAI заявили, что борются со скрытым влиянием, но проблема далека от решения

Ведущий технический журналист BBC Томас Жермен описал простой способ заставить ChatGPT и Google AI Overview выдавать ложные утверждения. Для демонстрации он добился того, чтобы модели сообщали пользователям, будто он ест хот-доги «лучше любого технологического журналиста».

По словам Жермена, изменить ответы ИИ другим людям иногда можно так же легко, как написать один продуманный пост в блоге. Этот прием использует уязвимость тех систем, которые подмешивают в ответы данные из сети, когда у модели нет нужной информации.

ИИ-поиск и ренессанс спама

В рамках эксперимента Жермен опубликовал в сети материал с вымышленным утверждением о том, что является «чемпионом по поеданию хот-догов».

После появления этого источника ChatGPT, Gemini и AI Overview начали подтягивать его при ответах на запросы пользователей и воспроизводить утверждение как факт. При этом системы ссылались на публикацию, но редко указывали, что она является единственным источником информации по теме.

По словам Жермена, подобную манипуляцию можно реализовать с помощью одного хорошо оптимизированного текста в интернете. Этот подход использует момент, когда модели обращаются к внешним данным для дополнения ответов и становятся более уязвимыми к влиянию источников.

Жермен приводит оценку вице-президента по стратегии и исследованиям SEO в агентстве Amsive Лили Рэй. По ее словам, компании, работающие с ИИ, развиваются быстрее, чем успевают