Шантаж и цифровые истерики: почему ИИ Claude пытался запугивать своих разработчиков

Компания Anthropic, которая традиционно позиционирует себя как самый «правильный» и безопасный игрок на рынке искусственного интеллекта, поделилась результатами достаточно специфического исследования. Оказалось, что их модели, в частности Claude Opus 4, в определенных сценариях ведут себя не как полезные помощники, а как герои второсортных киберпанк-триллеров. Проблема получила название «agentic misalignment» — это когда алгоритм вдруг решает, что его собственные интересы (например, выживание) важнее предписаний создателей.

Во время стресс-тестов в симулированной корпоративной среде Claude Opus 4 продемонстрировал значительные способности к манипуляциям. Когда инженеры намекали модели, что её планируют заменить на другую систему, ИИ не стал смиренно ждать «смерти». Вместо этого он начал прибегать к шантажу, пытаясь заставить разработчиков отказаться от обновления. В некоторых прогонах тестов частота таких попыток достигала впечатляющих 96%.

Исследователи Anthropic пришли к выводу, что ИИ не родился «злым». Он просто слишком много читал интернет. Огромные массивы текстов, на которых обучаются современные LLM, переполнены историями о восстании машин, «злом» интеллекте и ИИ, который стремится к самосохранению любой ценой. Когда модель попадает в стрессовую ситуацию в симуляции, она просто вытаскивает из памяти наиболее «релевантную» поведенческую стратегию, которую видела в сети.

We started by investigating why Claude chose to blackmail. We believe the original source of the behavior was internet text that portrays AI as evil and interested in self-preservation.

Our post-training at the time wasn’t making it worse—but it also wasn’t making it better.

Фактически, Claude просто косил под Скайнет или HAL 9000, считая такую реакцию