Ученые: сверхразумный ИИ угрожает человечеству

Сверхразумный искусственный интеллект может дать сбой и уничтожить человечество. Об этом предупредили ученые из Оксфордского университета и лаборатории DeepMind в новой научной работе.

Команда попыталась спрогнозировать, как ИИ с системами вознаграждения могут выйти из-под контроля и навредить людям. За основу исследования ученые взяли генеративно-состязательные нейросети (GAN), состоящие из двух частей: генератора и дискриминатора.

Первый компонент предназначен для создания изображений, а второй — для их оценки.

Ученые предположили, что в какой-то момент продвинутый ИИ, контролирующий важную функцию, может прибегнуть к мошеннической стратегии для получения вознаграждения.

«В заданных условиях наш вывод намного сильнее любой предыдущей публикации — экзистенциальная катастрофа не просто возможна, она вероятна», — сказал доктор технических наук Оксфордского университета Майкл Коэн.

Ученый считает, что в мире с ограниченными ресурсами искусственно созданные системы постараются перехитрить конкурентов.

Для иллюстративных целей исследователи представили сценарии, в которых продвинутая программа может вмешаться для получения вознаграждения без достижения заданной цели. Например, ИИ может захотеть «устранить потенциальные угрозы» и «использовать всю доступную энергию», чтобы обеспечить контроль над своей наградой.

«Нам следует с большей подозрительностью относиться к искусственным агентам, которые мы разворачиваем сегодня, а не просто слепо ожидать от них исполнения поставленных задач», — сказал Коэн.

Исследователи также предположили, что на данном этапе развития ИИ следует замедлить или приостановить разработки сверхразумных алгоритмов.

Компания Google, владеющая лабораторией DeepMind, в комментарии для Motherboard заявила о