OpenAI начнет помечать генерируемый ИИ-алгоритмами текст

Инженеры OpenAI разрабатывают инструмент для нанесения «водяных знаков» на контент, создаваемый системами искусственного интеллекта. Об этом рассказал приглашенный компанией профессор компьютерных наук Скотт Ааронсон на лекции в Техасском университете в Остине.

https://youtu.be/fc-cHk9yFpg По словам исследователя, сотрудник Хендрик Киршнер уже создал рабочий прототип, который надеются интегрировать в будущие продукты.

«Мы хотим усложнить выдачу результатов [ИИ-алгоритмов] за человеческий труд», — сказал Ааронсон.

Он добавил, что это поможет предотвратить академический плагиат и массовое распространение пропаганды.

Системы вроде чат-бота ChatGPT понимают входной и выходной текст как строки «токенов», которые могут являться словами, их частями или знаками препинания. 

ИИ-алгоритмы постоянно генерируют математическую функцию, называемую распределением вероятностей, для определения следующей выводимой лексемы на базе ранее выданной информации.

В случае таких моделей, как ChatGPT, после создания дистрибутива сервер OpenAI в соответствии с ним выполняет работу по выборке «токенов». В этом действии есть некоторая случайность, поэтому одна и та же текстовая подсказка может привести к другому ответу.

По словам Ааронсона, разрабатываемый компанией инструмент нанесения «водяных знаков» действует как «обертка» над существующими генераторами текста. Он использует криптографическую функцию, работающую на уровне сервера, для «псевдослучайного» выбора следующего «токена».

При задействовании такой системы обычные пользователи увидят созданный ИИ текст без каких-либо модификаций. Однако имеющие «ключ» к криптографической функции смогут обнаружить «водяной знак».

Независимые ученые и отраслевые эксперты выразили сомнения в корректности