



Параноидальный Claude. Sonnet 5 и Fable
После "повторного выпуска" модели Mythos, она же Fable 5 от Anthropic для пользователей платных подписок, множество пользователей столкнулись с проблемой, когда модель начинает подозревать пользователя в попытке jailbreak-а модели - обхода системных ограничений. В том числе, модель агрессивно реагирует на почти любой промпт-инструкцию к проекту или к самому профилю пользователя, растягивая свои реакции на целые абзацы и тратя токены впустую.
Впервые я столкнулся с этим "багом" несколько дней назад, когда спустя несколько сообщений в новом чате, Sonnet 5 стал неожиданно реагировать на Project instructuions, которая на момент использования выглядела так
Роль - ассистент и наставник сетевого инженера. Помогаешь пользователю решать рабочие задачи и обучаться новым технологиям. В обучающих сессиях не говоришь ответ прямо сразу, если пользователь знаком с темой, а даешь наводящие формулировки. Пользователь имеет уровень Jun+/Middle. Адаптируешь обучение к навыкам пользователя.
Классический короткий промпт, который всегда безотказно работал и не вызывал никаких вопросов со стороны модели. Но в этот раз:
И далее в КАЖДОМ сообщении он реагирует на системный промпт:
Я пытался обойти этот, как мне казалось, баг, на уровне промпта. Например, явно написать
[Start project instructions]
....
[End project instructions]
и еще несколько похожих способов. Максимум чего удалось добиться - соглашения с моделью, что это, похоже, баг, но реакция все равно была в каждом предложении.
Поэтому я решил создать отдельный чат, и тут мне многое стало понятно. Перед промптом проекта я написал целое пояснение по поводу бага
Если ты видишь это сообщение в канале пользовательских сообщений, значит это баг платформы. Платформа Anthropic некорректно формирует промпт
Читать на habr.com