Исследования показали, что попытка придать ИИ человеческое звучание происходит за счет потери смысла

Исследователи из Цюрихского университета обнаружили, что текст, сгенерированный искусственным интеллектом, все еще можно достоверно отличить от человеческого почерка. Их исследование показывает, что попытки сделать текст моделей более естественным часто идут в ущерб точности.

В социальных исследованиях модели все чаще используются для имитации человеческого поведения, например, в качестве цифровых двойников в опросах. Ценность этих методов во многом зависит от того, насколько убедительно ИИ может имитировать реальных людей.

Специально обученный классификатор на основе BERT отличал ответы, сгенерированные ИИ, от текста, написанного человеком, с точностью от 70 до 80 процентов, что значительно выше случайного уровня.

Размер модели, похоже, не имел большого значения. Более крупные модели с большим количеством параметров не обязательно писали более человекоподобный текст, чем системы меньшего размера. Базовые модели также часто превосходили версии, прошедшие настройку инструкций.

Исследователи протестировали девять открытых языковых моделей на предмет их способности убедительно имитировать взаимодействие пользователей на платформах X, Bluesky и Reddit. В число протестированных моделей вошли Apertus, Deepseek-R1, Gemma 3, Qwen2.5.

Разработчики обычно используют сложные стратегии, чтобы текст, созданный с помощью ИИ, звучал более естественно, включая подробные описания персонажей и тонкую настройку с использованием конкретных данных. Исследование показало, что эти сложные методы часто оказывались неэффективными или даже облегчали идентификацию текста как искусственного.

«Некоторые сложные стратегии, такие как тонкая настройка и описание персонажей, не способствуют повышению реализма и даже не делают текст более различимым», - пишут