ИИ проваливает почти 65% реальных научных задач — отрезвляющие результаты бенчмарка OpenAI LifeSciBench

OpenAI представила LifeSciBench — бенчмарк, который оценивает, насколько ИИ реально полезен в научной работе, а не просто отвечает на вопросы по биологии. Результаты вышли скорее отрезвляющими: даже флагманская GPT-Rosalind, ради которой бенчмарк и создавался, проходит лишь 36,1% задач против 25,7% у GPT-5.5. То есть почти две трети реальных исследовательских задач лучшая профильная модель все еще проваливает.

В отличие от привычных тестов на запоминание фактов, бенчмарк ставит задачи так, как их сформулировал бы ученый коллеге по лаборатории: разобрать неполные данные, согласовать противоречивые результаты, спланировать сложный эксперимент, оценить риски и решить, что делать дальше. Задачи для GPT-Rosalind и конкурентов писали 173 исследователя с PhD и опытом в фарме и биотехе — всего 750 задач, семь рабочих процессов и более 19 тысяч критериев в детальных рубриках. Больше половины задач требуют работать не только с текстом промпта, но и с приложенными файлами: графиками, таблицами, последовательностями, структурами.

Тут важна оговорка по цифрам. OpenAI приводит две метрики: Score — мягкую, с частичным зачетом за отдельные критерии (по ней у GPT-Rosalind около 63%), и pass rate — жесткую, где задача считается решенной только при выполнении рубрики на 70% (это и есть те самые 36,1%). Так что красивые 63% на сводном графике и "решает лишь треть задач" — про одну и ту же модель, просто измеренную по-разному.

Сильнее всего модели там, где нужно складно изложить выводы и связать доказательства с клиническими следствиями — в научной коммуникации и трансляции. Хуже всего — когда наука выходит за пределы текста. На задачах с приложенными артефактами pass rate GPT-Rosalind падает с 45,1% (только текст) до 28,1%. Там, где нужен