Anthropic раскрыла методы борьбы с шантажом и «злым» поведением ИИ

• Компания заявила о снижении случаев «рассогласованного» поведения Claude.
• Разработчики обучали модели не только правильным ответам, но и объяснению этических принципов.
• В Anthropic признали, что проблема полного контроля над ИИ остается нерешенной.

Компания Anthropic опубликовала исследование о новых методах обучения моделей Claude. Речь идет о механизмах, направленных на снижение риска опасного и несогласованного поведения ИИ.

Разработчики заявили, что сделали ставку на развитие «этического мышления» моделей, а не только на обучение правильным ответам.

В Anthropic напомнили, что ранее Claude в некоторых сценариях мог прибегать к шантажу, саботажу или другим нежелательным действиям ради достижения собственных целей. По словам исследователей, некоторые модели демонстрировали подобное поведение в значительной части тестов.

Компания утверждает, что новые методы позволили существенно снизить уровень таких отклонений. В частности, начиная с Claude Haiku 4.5 модели компании якобы перестали прибегать к шантажу в рамках внутренних тестов согласованности поведения.

Одним из ключевых методов стало обучение ИИ на так называемом наборе «сложных советов».

Вместо прямых инструкций модель анализировала этически неоднозначные ситуации. Через них она училась объяснять, почему определенные действия являются более правильными с точки зрения принципов и ценностей.

Конституция ИИ

Компания также использовала подход с «обучением конституции» Claude.

Для этого модели предоставляли документы с описанием принципов поведения ИИ и художественные истории, в которых искусственный интеллект демонстрировал желательные модели действий. Разработчики активно экспериментировали в этом направлении, согласно отчету.