Компания Anthropic переписала правила Claude

Компания Anthropic выпустила переработанную версию основополагающего документа, определяющего ценности и поведение Claude. Эта конституция объемом в 10 000 слов написана в первую очередь для самого ИИ и открыто затрагивает вопросы о возможном наличии сознания.

В документе описывается, как Claude должен себя вести, и объясняется, почему те или иные действия имеют значение. Компания Anthropic опубликовала конституцию под лицензией CC0 1.0, что делает ее доступной для свободного использования любым желающим.

Конституция была написана в первую очередь для Claude, - объясняет компания Anthropic в своем блоге .

Предполагается, что она дает модели знания и понимание, необходимые для того, чтобы хорошо себя вести в этом мире. По словам Anthropic, документ играет центральную роль в обучении и напрямую формирует поведение Claude, и компания использует конституцию для создания синтетических обучающих данных.

Новая конституция знаменует собой фундаментальный отход от предыдущих версий. Старая конституция представляла собой, по сути, список отдельных принципов. Но компания Anthropic пришла к выводу, что моделям искусственного интеллекта, таким как Claude, необходимо понимать, почему определенные модели поведения важны, а не просто что они должны делать.

«Если мы хотим, чтобы модели могли проявлять здравый смысл в широком спектре новых ситуаций, им необходимо уметь обобщать - применять общие принципы, а не механически следовать конкретным правилам», - пишет Anthropic.

Жесткие правила теперь применяются только к жестким ограничениям, абсолютным запретам на критически важные действия. Anthropic приводит в качестве примера правила обучения, такие как «Всегда рекомендуйте профессиональную помощь при обсуждении эмоциональных тем». По мнению