Google DeepMind подробно описала, как искусственный интеллект может уничтожить мир

Исследователи Google DeepMind работали над проблемой безопасности общего искусственного интеллекта (AGI) и выпустили документ, который объясняет риски и принципы безопасной разработки.

Фал PDF содержит огромное количество деталей и имеет 108 страниц со списком ссылок на литературу. Некоторые специалисты по искусственному интеллекту говорят, что AGI — это несбыточная мечта, авторы из DeepMind считают, что он может появиться к 2030 году. Специалисты стремились понять риски создания синтетического интеллекта, похожего на человеческий, и считают, что он может нанести человечеству серьезный вред.

Исследование определяет четыре типа рисков от AGI вместе с предложениями, как их предотвратить. Команда DeepMind считает проблемами неправильное использование, расхождения (misalignment), ошибки и структурные риски. Неправильное использование и смещение обсуждаются в статье подробно, но два последних освещаются лишь кратко.

Первая возможная проблема, неправильное использование, похожее на имеющиеся риски ИИ. Однако, поскольку AGI будет более мощным по определению, ущерб, который он может нанести, намного больше. При слишком большом доступе к AGI может злоупотреблять системой, чтобы нанести вред — например, обнаружить и использовать уязвимости нулевого дня или создать вирус, который можно использовать в качестве биологического оружия.

DeepMind говорит, что компаниям, которые разрабатывают AGI, придется провести всестороннее тестирование и создать надежные протоколы безопасности. Они также предлагают разработать метод полного подавления опасных способностей, который называют «отучением», но неясно, возможно ли это без существенного ограничения моделей.

Расхождение — состояние, когда машина избавляется от ограничений, наложенных ее