ИИ-ученый провалил эксперимент — и именно это заинтересовало Nature

Журнал Nature опубликовал статью о системе The AI Scientist от токийской компании Sakana AI — первом ИИ, который самостоятельно проходит полный цикл научного исследования: от генерации идеи и написания кода до проведения экспериментов, анализа данных, оформления рукописи и даже рецензирования собственной работы. Ирония в том, что главный результат оказался отрицательным — исследуемая техника не улучшила обучение нейросетей. Но редакцию Nature заинтересовал не результат, а сам процесс.

ИИ-система самостоятельно выбрала тему — композиционную регуляризацию в обучении нейросетей — и обнаружила, что предложенный метод не дает улучшений. В традиционной науке такой результат мог бы остаться в ящике стола: отрицательные результаты трудно публиковать, хотя они экономят время другим исследователям. Но в данном случае Nature прямо указывает — редакцию заинтересовал не результат эксперимента, а то, что весь путь от гипотезы до рукописи впервые был пройден без участия человека.

The AI Scientist работает как агентная система на базе нескольких фундаментальных моделей — GPT-4, Claude и Llama 3. Система функционирует в двух режимах: "фокусный", когда исследователь задает кодовый шаблон и тему, и "свободный", в котором ИИ самостоятельно ищет направления через агентный поиск. В обоих случаях система генерирует набор идей, автоматически тестирует их, строит графики и пишет полноценную научную статью — стоимость генерации одной работы составляет около $15. Из трех статей, созданных The AI Scientist, одна прошла рецензирование на воркшопе конференции ICLR 2025 со средней оценкой 6,33 — правда, только на воркшопе, а не в основном треке. При этом Sakana AI заранее договорилась с организаторами, что даже в случае принятия статья будет отозвана до