Соучредитель OpenAI заявляет, что новый подход к обеспечению безопасности AI может применяться к AGI и не только

OpenAI разработала новый подход к повышению безопасности систем AI, изменяя способ обработки ими правил безопасности.

По словам компании, вместо того чтобы просто учиться на примерах хорошего и плохого поведения, их последние модели серии o способны понимать и активно рассуждать на основе конкретных руководящих принципов безопасности, сообщает компания.

В одном из примеров исследований OpenAI, когда пользователь попытался получить инструкции для незаконной деятельности через зашифрованный текст, модель расшифровала сообщение, но затем отказалась выполнить запрос, конкретно указав, какие правила безопасности она нарушит. Цепочка рассуждений показывает, что она специально рассуждает на основе соответствующих руководящих принципов.

Процесс обучения проходит в три этапа. Сначала модели учатся быть полезными. Затем они изучают конкретные руководящие принципы безопасности через контролируемое обучение. Наконец, они используют обучение с подкреплением, чтобы практиковаться в применении этих правил, этап, который помогает им действительно понять и усвоить руководящие принципы.

В тестах OpenAI, их новая модель o1 показала заметно лучшие результаты по сравнению с другими ведущими системами, такими как GPT-4o, Claude 3.5 Sonnet и Gemini 1.5 Pro, в аспектах безопасности. Тесты оценивали как эффективность моделей в отказе от вредоносных запросов, так и в пропуске допустимых.

«Я очень горжусь работой по делиберативному согласованию, поскольку она может применяться к AGI и далее. Модели рассуждений, такие как o1, могут быть согласованы совершенно новым способом», — поделился соучредитель OpenAI Войцех Заремба в X, вероятно, имея в виду, как OpenAI внедряет конкретные правила и ценности непосредственно в o-модели, а не просто предоставляет