Grok 4.5 победил Fable 5 в автоматизации SaaS — и оказался в 4 раза дешевле

Artificial Analysis опубликовала результаты независимого тестирования Grok 4.5 на AutomationBench-AA — лидерборде, который проверяет, могут ли AI-агенты автоматизировать реальные рабочие процессы в SaaS-сервисах. Модель SpaceXAI заняла первое место с 51,4% и стала первой, кто выполнил больше половины целей без нарушения бизнес-правил. Флагманы Anthropic остались позади: Claude Fable 5 набрал 48,6% (модель работала с фолбэком на Opus примерно в 18% задач), Claude Opus 4.8 — 48,5%. При этом задача обходится Grok 4.5 в $0.34 — вчетверо дешевле, чем у конкурентов ($1.35 у Fable 5 и $1.46 у Opus 4.8).

Сам бенчмарк разработала Zapier, а Artificial Analysis прогоняет его независимо и держит тестовый набор закрытым, чтобы задачи не попали в обучающие данные. Модели выполняют 657 заданий в 40 симулированных средах — Gmail, Google Sheets, Slack, Salesforce, HubSpot и других. Агент сам ищет нужные эндпоинты через REST API и ориентируется в окружении, где попадаются нерелевантные и вводящие в заблуждение записи. Итоговый балл — доля целей, выполненных без единого нарушения ограждений.

Победу обеспечила экономика, а не грубая сила. Grok 4.5 тратит около 8 тысяч выходных токенов на задачу — меньше четверти от показателя Opus 4.8 (32 тысячи). Задачи модель решает примерно за 16 ходов, упаковывая в каждый по 3,3 параллельных вызова инструментов — больше, чем любая другая модель из лидеров. Добавим низкие цены на токены ($2 за миллион входных и $6 за миллион выходных), и разрыв в стоимости перестает удивлять.

Есть и ложка дегтя: правила Grok 4.5 нарушает чаще конкурентов — 0,63 нарушения на задачу против 0,55 у Opus 4.8 и 0,46 у Gemini 3.5 Flash. По соотношению выполненных целей на одно нарушение модель уступает и той, и другой. Для