OpenAI выпустила детектор сгенерированных текстов

Компания OpenAI выпустила бесплатный онлайн-инструмент AI Text Classifier, распознающий сгенерированные искусственным интеллектом тексты.

We’re developing a new tool to help distinguish between AI-written and human-written text. We’re releasing an initial version to collect feedback and hope to share improved methods in the future. https://t.co/4dQE3dX6vX— OpenAI (@OpenAI) January 31, 2023 Программа основана на языковой модели и оценивает вероятность того, что фрагмент текста сгенерировал ИИ. Пятибалльная шкала варьируется от «очень маловероятно» до «вероятно».

Разработчики признали, что классификатор недостаточно надежен.

«В наших оценках на тестовом англоязычном наборе классификатор правильно идентифицировал 26% написанного ИИ текста (истинно положительные результаты) как “вероятно написанные ИИ”. В то же время написанный человеком текст в 9% случаев неправильно отмечался как написанный алгоритмом (ложные срабатывания)», — говорится в блоге.

В OpenAI считают, что инструмент может помочь выявить машинный текст, но он не должен становиться единственным доказательством при принятии решений.

«Модель обучается на записях из различных источников, которые могут не отражать все виды написанного человеком текста», — добавили в организации.

AI Text Classifier предназначен для обнаружения ИИ-работ из различных источников. Его обучили на 34 генераторах, созданных пятью организациями. Также инструмент тренировали на текстах, написанных людьми.

Для проверки программе необходимо предоставить образец из 1000 символов. Он плохо работает для языков, отличных от английского.

Классификатор также будет мало полезен для учителей, которые хотят оценить источник работы учеников. Инструмент недостаточно чувствителен к изменениям, внесенным