Anthropic нашла у Claude «внутренний голос»: скрытое рабочее пространство модели

Сотрудники Anthropic опубликовали исследование, в котором утверждают, что в больших языковых моделях, в частности в Claude, спонтанно сформировалась внутренняя структура, аналогичная «глобальному рабочему пространству» в мозге человека. Эту структуру назвали J-space — по имени математического метода (Jacobian lens), с помощью которого её обнаружили.

Авторы провели серию экспериментов и выяснили, что J-space обладает рядом уникальных свойств:

Доступность для отчёта. Если спросить Claude, о чём он думает, модель расскажет именно то, что находится в J-space. Остальные внутренние представления описанию поддаются хуже.

Управляемость по запросу. Claude может целенаправленно активировать нужные паттерны в J-space, но не может контролировать паттерны вне его.

Использование для внутренних рассуждений. При многошаговых задачах промежуточные этапы решения возникают в J-space, даже если модель не произносит их вслух.

Гибкость. Один и тот же паттерн в J-space может использоваться для разных задач. Когда исследователи подменили «Францию» на «Китай», Claude на четыре разных вопроса о стране выдал «Пекин», «китайский», «Азия» и «юань» соответственно.

Каузальная роль. Прямое редактирование J-space меняет ответы модели. Например, замена паттерна «паук» на «муравей» заставила Claude ответить «6» вместо «8» на вопрос о количестве ног.

При этом J-space не задействован в большинстве рутинных операций: без него Claude всё так же бегло говорит, классифицирует тональность, отвечает на вопросы с выбором ответа и извлекает факты из текста. Но многошаговое рассуждение падает почти до нуля, а способность к суммаризации и сочинению рифм ухудшается до уровня гораздо меньшей модели.

Исследователи опирались на теорию глобального рабочего пространства (Global