OpenAI формирует команду для изучения «катастрофических» рисков искусственного интеллекта — включая ядерные угрозы

Команда будет отслеживать, прогнозировать и защищать от опасностей будущих систем ИИ — начиная с обмана людей и завершая созданием вредоносного кода.

Помогаем

Поможем врагу с билетами на кобзона. Собираем на Mavic для наших защитников

OpenAI создает отдельную «группу готовности», которая будет изучать «катастрофические» риски искусственного интеллекта – специалистами будет руководить директор Центра развертывания машинного обучения MIT Александр Мадри, который присоединился к компании Сэма Альтмана в мае.

Главные обязанности команды — отслеживание, прогнозирование и защита от опасностей будущих систем искусственного интеллекта, начиная от их способности убеждать и обманывать людей (например, в фишинге) до создания вредоносного кода. В то же время некоторые категории кажутся несколько надуманными, например «химические, биологические, радиологические и ядерные» угрозы, которые, по мнению OpenAI, вызывают наибольшее беспокойство, когда это касается моделей ИИ.

Параллельно OpenAI собирает идеи сообщества по исследованиям рисков, с призом в размере $25 000 и возможностью работы в группе готовности для авторов 10 лучших заявок.

«Представьте, что мы предоставили вам неограниченный доступ к моделям OpenAI Whisper (транскрипция), Voice (текст в речь), GPT-4V и DALLE·3, а вы были злоумышленником. Рассмотрим наиболее уникальное, но возможное, потенциально катастрофическое, неправильное использование модели», — говорится в одном из вопросов конкурсной работы.

В OpenAI говорят, что группа готовности сформулирует «политику развития с учетом рисков», подробно описывающую подход компании к созданию инструментов оценки модели искусственного интеллекта и мониторинга, действия компании по уменьшению рисков и ее структуру управления для