ИИ научился улучшать ИИ: система из Стэнфорда подбирает инструкции для моделей лучше инженеров

Исследователи из Стэнфорда, MIT и KRAFTON представили Meta-Harness — систему, которая автоматически оптимизирует код вокруг языковых моделей и при этом обходит решения, созданные людьми вручную. На задачах классификации текстов точность выросла на 7,7 процентных пункта по сравнению с лучшей ручной настройкой — и при этом система использовала в 4 раза меньше контекста. Код проекта опубликован в открытом доступе.

Производительность LLM зависит не только от самой модели, но и от так называемой обвязки (harness) — кода, который определяет, какую информацию хранить, как ее извлекать и в каком виде показывать модели. До сих пор обвязки создавались вручную: инженеры изучали ошибки, подбирали промпты и перестраивали логику работы с контекстом. Meta-Harness автоматизирует этот процесс: на роль "оптимизатора" поставлен кодинг-агент Claude Code на базе Opus 4.6, который сам анализирует предыдущие попытки, находит причины провалов и предлагает новые варианты кода.

Главное отличие от существующих оптимизаторов — в объеме доступной информации. Предыдущие системы вроде OpenEvolve и TTT-Discover работали со сжатой обратной связью: скалярными оценками или короткими саммари, до 26 тысяч токенов на шаг. Meta-Harness даёт агенту доступ ко всей истории через файловую систему — исходный код всех предыдущих обвязок, логи выполнения, трассировки рассуждений. Объем диагностической информации на одну итерацию достигает 10 миллионов токенов — это примерно в тысячу раз больше, чем у конкурентов. Агент сам решает, что именно изучить, используя обычные инструменты вроде grep и cat.

Систему проверили на трех задачах. На классификации текстов Meta-Harness обогнала лучших конкурентов в 10 раз быстрее — за 4 итерации вместо 40. На 200 олимпиадных задачах по