Секретная комната Claude: ученые нашли, где ИИ «думает» перед тем, как выдать ответ

Мы привыкли воспринимать большие языковые модели как очень продвинутый «Т9» — статистическую машину, которая просто угадывает следующее слово. Однако свежее исследование внутренних процессов Claude от компании Anthropic доказывает, что внутри нейросетей формируются значительно более сложные структуры. Ученые выявили так называемое J-space — специфический набор нейронных состояний, который выполняет роль «внутреннего черновика» или рабочего пространства для размышлений, скрытого от глаз пользователя.

Чтобы заглянуть под капот Claude, исследователи использовали новый метод анализа нейронных активаций под названием Jacobian lens (J-lens). Если не вдаваться в дебри высшей математики, этот метод позволяет отследить, как микроскопическое изменение одного сигнала внутри сети влияет на вероятность появления конкретных слов в будущем ответе. Благодаря этому ученые смогли идентифицировать J-space — зону, где модель манипулирует понятиями еще до того, как они превратятся в текст.

Важно понимать: J-space — это не текстовая «цепочка мыслей» (chain-of-thought), которую мы иногда видим в чате. Это сугубо внутренние активации. Например, когда Claude спрашивают о животном, которое плетет паутину, в J-space вспыхивает концепт «паук», хотя в самом тексте ответа это слово может даже не появиться. Модель просто использует это понятие, чтобы прийти к выводу, что у существа восемь ног.

Чтобы убедиться, что J-space — это не просто пассивный индикатор, а реальный центр принятия решений, ученые прибегли к прямому вмешательству. В одном из экспериментов модели дали задание «мыслей» выбрать вид спорта. С помощью J-lens исследователи увидели, что Claude выбрал футбол. Не изменяя запрос и не давая подсказок, они вручную заменили внутренний паттерн