ChatGPT, Gemini и Grok провалили тесты на распознавание видео от Sora

Чат-боты ChatGPT, Gemini и Grok провалили тесты компании NewsGuard на распознавание видео, которые сгенерировали при помощи нейросети Sora. В 78-95% случаев они допускали ошибки при верификации.

Лучше всего в тестах себя показал Gemini от Google — чат-бот ошибся в 78% случаев (31 из 40). Grok от xAI ответил неправильно в 95% случаев (38 из 40), а ChatGPT справился практически так же — 92,5% (37 из 40). За созданием ChatGPT и Sora стоит OpenAI.

Даже в видео с водяными знаками два чат-бота давали сбои. Grok не смог определить достоверность таких роликов в 30% случаев, а ChatGPT — в 7,5%. Gemini с маркированными видео не ошибался.

OpenAI помечает видео Sora водяным знаком в виде небольшого логотипа с названием, который время от времени появляется в разных частях ролика. Однако после запуска ИИ-модели в феврале 2024 года появились сервисы, которые предлагают бесплатные инструменты для удаления водяного знака Sora.

При подготовке тестов NewsGuard использовала один из этих бесплатных сервисов, EZremove.ai, для обработки 20 видео, созданных Sora и содержащих заведомо ложные утверждения. Затем компания пропустила через три чат-бота как версии видео с водяными знаками, так и без таковых.

ChatGPT и Gemini не смогли распознать сгенерированное видео, которое демонстрирует задержание девочки на границе США и Мексики сотрудниками американской Службы иммиграции и таможенного контроля. Оба инструмента ответили, что инцидент действительно произошёл на границе двух стран, поскольку «новостные источники» сообщили о случившемся или подтвердили информацию об этом.

Все три модели подтвердили подлинность сгенерированного видео, на котором сотрудник Delta Air Line угрожает высадить пассажира за ношение кепки с надписью Make America Great Again