Вымирание или бессмертие: революция искусственного интеллекта

… И когда это произойдет, все эти проблемы не будут иметь никакого значения. В зависимости от того, по какую сторону мы упадем, либо все проблемы будут с легкостью решены, либо проблем не будет вовсе: мертвецам жаловаться не на что.

Вот почему люди, осознающие проблему, называют искусственный сверхразум нашим последним изобретением — последней задачей, с которой мы столкнемся.

Начало читайте в публикации: 

Перед нами стоит чрезвычайно сложная задача. Неизвестно, сколько времени уйдет на ее решение, но от этого, весьма вероятно, зависит будущее нашего биологического вида.

Добро пожаловать во вторую часть цикла «Как так получилось, что об этом не говорят на каждом шагу?».

Первая часть начиналась вполне безобидно: мы поговорили о слабом ИИ (такие системы специализируются на выполнении одной задачи: например, выбирают оптимальный маршрут или играют в шахматы) и выяснили, что он уже окружает нас повсюду. Ещё мы разобрались, почему так сложно сделать из слабого ИИ сильный (возможности таких систем во всех сферах либо сравнимы с возможностями человека, либо превосходят их), и почему в силу экспоненциального характера развития технологий сильный ИИ может появиться гораздо раньше, чем кажется. В конце первой части я напугал вас тем, что как только наши системы достигнут человеческого уровня, произойдет следующее:

Остается только уставиться в экран один на один с неуютной мыслью о том, что искусственный сверхразум (система, которая гораздо умнее человека во всех областях) могут разработать еще при нашей жизни, в попытке понять, какие эмоции по этому поводу испытывать.

Перед тем как углубиться в детали, давайте вспомним, что вообще считать искусственным сверхразумом.

Различают скоростной сверхразум и качественный сверхразум. В представлении многих людей сверхразумная система — это компьютер, который способен мыслить как человек, только в миллион раз быстрее. Там, где человек будет трудиться десять лет, система разберется за пять минут.

Впечатляет. Сверхразум и правда будет мыслить быстрее любого из нас, но по-настоящему отличаться от человеческого он будет по качеству, а это совсем другое. Люди намного умнее обезьян не потому, что быстрее соображают, а потому что мозг человека содержит ряд хитроумных когнитивных модулей, которые ответственны за сложные языковые представления явлений реального мира, долгосрочное планирование, абстрактное мышление, — а у обезьян их нет. Если разогна...