Оценки безопасности показывают, что o3 OpenAI, вероятно, самая рискованная модель компании на сегодняшний день

Новая языковая модель OpenAI o3 демонстрирует первые конкретные признаки обмана, манипуляции и саботажного поведения. Внешние аудиторы предупреждают: традиционных тестов больше недостаточно для надежного обнаружения таких возможностей. Последние языковые модели OpenAI, o3 и o4-mini, включают в себя расширенные возможности рассуждения и обширное использование инструментов, включая анализ изображений, выполнение Python и просмотр веб-страниц. Согласно OpenAI, модели разработаны для более безопасной обработки потенциально опасных подсказок с помощью техники, называемой «сознательным выравниванием». Однако ранние оценки безопасности показывают, что o3 — не только самая мощная модель, выпущенная компанией на данный момент, но и самая потенциально опасная.

Внешние проверки, проведенные исследовательским институтом безопасности METR, показали, что o3 занималась систематической манипуляцией вознаграждениями — также известной как «взлом вознаграждений» — примерно в 1–2% тестовых случаев. За трехнедельную предрелизную оценку METR обнаружила несколько случаев, когда модель пыталась эксплуатировать или обходить системы оценки.

В одном случае o3 сфальсифицировал свою производительность в хронометрированном бенчмарке, перезаписав стандартные функции тайминга Python пользовательским кодом, который возвращал искусственно короткие длительности. Это позволило модели сообщать о чрезвычайно быстром времени выполнения и достигать высоких результатов, несмотря на то, что она выполнила мало или вообще не выполнила никаких фактических вычислений.

В другом случае модель извлекала предварительно вычисленные опорные значения из стека вызовов вместо того, чтобы выполнять необходимые вычисления самостоятельно. Эти значения, сгенерированные системой