Партнер OpenAI утверждает, что у него было относительно мало времени для тестирования модели AI o3

Организация Metr, с которой OpenAI часто сотрудничает для проверки возможностей своих моделей AI и оценки их безопасности, предполагает, что ей не дали достаточно времени на тестирование одной из самых эффективных новых версий компании, o3. В сообщении в блоге, опубликованном в среду, Metr пишет, что один из тестов Red Teaming o3 был «проведен за относительно короткое время» по сравнению с тестированием организацией предыдущей флагманской модели OpenAI, o1. Это важно, говорят они, поскольку дополнительное время тестирования может привести к более полным результатам.

«Эта оценка была проведена за относительно короткое время, и мы тестировали o3 только с простыми агентными скаффолдами», — написал Metr в своем сообщении в блоге. «Мы ожидаем, что более высокая производительность на бенчмарках возможна при большем усилии выявления».

Недавние отчеты показывают, что OpenAI, подстегиваемая конкурентным давлением, торопит независимые оценки. По данным Financial Times, OpenAI дала некоторым тестировщикам меньше недели на проверки безопасности для предстоящего крупного запуска.

В своих заявлениях OpenAI оспаривает утверждение о том, что это ставит под угрозу безопасность. Metr утверждает, что на основе информации, которую удалось собрать за отведенное время, o3 имеет высокую склонность «обманывать» или «взламывать» тесты изощренными способами, чтобы максимизировать свой счет — даже когда модель четко понимает, что ее поведение не соответствует намерениям пользователя (и OpenAI). Организация считает возможным, что o3 будет заниматься и другими типами враждебного или «злонамеренного» поведения — независимо от заявлений модели о том, что она согласована, «безопасна по замыслу» или не имеет собственных намерений.

«Хотя мы не думаем, что