Anthropic представил «конституции» ответственного ИИ

Стартап Anthropic, разрабатывающий большие языковые модели, представил «конституции» для ответственного создания ИИ-алгоритмов. Об этом пишет The Verge.

По словам соучредителя компании Джареда Каплана, «конституционный ИИ» — это способ обучения интеллектуальных систем следовать определенным наборам правил.

В настоящее время создание чат-ботов вроде ChatGPT зависит от модераторов, которые оценивают выдачу по таким вещам, как разжигание ненависти или токсичность. Затем система использует эти данные для настройки своих ответов. Этот процесс известен как «обучение с подкреплением на основе обратной связи с человеком» (RLHF).

Однако с «конституционным ИИ» эта работа в основном управляется самим чат-ботом, заявили разработчики.

«Основная идея заключается в том, что вместо использования обратной связи от человека вы можете спросить языковую модель: “Какой ответ больше соответствует данному принципу?”», — говорит Каплан.

По его словам, в таком случае алгоритм сам определит лучшую модель поведения и направит систему в «полезном, честном и безвредном» направлении.

В Anthropic сообщили, что применяли «конституции» при разработке чат-бота Claude. Теперь компания опубликовала подробный документ, который опирается на ряд источников, включая:

декларацию прав человека ООН;условия обслуживания Apple;принципы Sparrow от Deepmind;рассмотрение незападных перспектив;собственные исследования Anthropic.Кроме этого, документ содержит руководство, направленное на то, чтобы пользователи не антропоморфизировали чат-ботов. Также есть правила, предусматривающие экзистенциальные угрозы вроде уничтожения человечества вышедшим из-под контроля ИИ.

По словам Каплана, такой риск существует. Когда команда тестировала языковые модели, она задавала системам