Маленькая модель, большой эффект: Glider от Patronus AI превосходит GPT-4 в ключевых задачах оценки AI

Стартап, созданный бывшими сотрудниками Meta AI, представил легковесную модель искусственного интеллекта, способную оценивать другие AI-системы так же эффективно, как и более крупные аналоги, при этом предоставляя подробные объяснения своих решений. Patronus AI выпустила Glider, языковую модель с открытым исходным кодом, содержащую 3,8 миллиарда параметров. Она превосходит GPT-4o-mini от OpenAI по нескольким ключевым критериям оценки AI-результатов, выступая в роли автоматизированного оценщика, который может анализировать реакции AI-систем по сотням различных параметров, объясняя свои выводы.

Эта разработка знаменует собой важный шаг вперед в области оценки AI. В отличие от крупных запатентованных моделей, таких как GPT-4, которые могут быть дорогостоящими и непрозрачными, Glider более экономична и предоставляет ясные обоснования своих решений с помощью маркеров и выделенных текстовых фрагментов.

"Сейчас у нас много юристов, выступающих в роли судей, но мы не знаем, кто из них лучше всего подходит для нашей задачи", – пояснил Даршан Дешпанде, ведущий инженер-исследователь Patronus AI. "Мы создали модель, которая работает на устройстве, использует только 3,8 миллиарда параметров и предоставляет высококачественные цепочки рассуждений."

Glider демонстрирует, что меньшие языковые модели могут быть столь же эффективными или даже превосходить большие модели для специализированных задач, работая с задержкой всего в одну секунду. Это делает ее подходящей для приложений реального времени, где важна быстрая оценка AI-результатов. Одной из ключевых особенностей Glider является способность одновременно оценивать множество аспектов AI-результатов, таких как точность, безопасность и тональность, без необходимости в отдельных этапах