Стартап Percepta встроил «компьютер» внутрь ИИ — он выдает 30 тыс. токенов в секунду

Исследователи стартапа Percepta научили нейросеть выполнять программы на C самостоятельно — без вызова внешних инструментов. Модель на обычной архитектуре трансформера выдает более 30 000 токенов в секунду на CPU и безошибочно выполняет миллионы вычислительных шагов подряд.

Сейчас все ИИ-ассистенты с поддержкой кода — от Claude Code до Codex — устроены одинаково: модель пишет программу, а потом отправляет ее на выполнение во внешнюю среду — например, в Python-песочницу. Сама нейросеть считать не умеет, она лишь предсказывает следующий токен. Percepta пошла другим путем: команда под руководством Христоса Тзамоса, профессора Афинского университета, встроила интерпретатор кода прямо в веса модели. Программу подают на вход как обычные токены, а трансформер выполняет ее инструкция за инструкцией — и выдаёт результат.

Главная техническая находка — новый тип "голов внимания", работающих в двумерном пространстве. Обычный механизм внимания замедляется с ростом текста по квадратичному закону, что делает длинные вычисления непрактичными. Авторы показали, что с двумерными головами можно обрабатывать каждый новый токен за логарифмическое время — то есть экспоненциально быстрее. Именно это позволяет модели "считать" миллионы шагов, не теряя скорости.

Для демонстрации команда скомпилировала решатель судоку на C (сам код, по словам Тзамоса, написал Claude) и загрузила его в трансформер. Модель решила сложнейшие головоломки со стопроцентной точностью — задачи, с которыми GPT-4 не справляется без внешних инструментов. Ранее та же группа на NeurIPS 2025 показала, как обучить обычный трансформер GPT-2 решать судоку методом проб и ошибок с точностью 99,8%.

Работа уже вызвала резонанс: на Hacker News и форуме OpenAI обсуждают, может ли встроенный