«Если», 2015 № 03

Предсказание и устройство

…Антропоморфизм заставляет людей верить, что они могут делать предсказания, не имея никакой другой информации, кроме как о самом факте интеллектуальности кого-либо, — антропоморфизм продолжит генерировать предсказания, невзирая ни на что, в то время как ваш мозг автоматически будет ставить себя на место этой самой «интеллектуальности».

Один из путей к глобальной катастрофе — когда кто-то нажимает кнопку, имея ошибочное представление о том, что делает эта кнопка. И если ИскИн возникнет посредством подобного сочетания работающих алгоритмов в руках исследователей, не имеющих глубокого понимания того, как работает вся система, то…

Несомненно, они искренне верят, что ИскИн будет дружественным, но верят без ясного представления о процессе, лежащем в основе дружественного поведения, или какого-либо минимального понимания того, что они имеют в виду под дружественностью.

Незнание того, как сделать Дружественный ИскИн, не смертельно само по себе в том случае, если вы знаете, чего вы не знаете. Именно ошибочное убеждение в том, что ИскИн будет дружественным, предполагает очевидный путь к глобальной катастрофе.

Недооценка силы интеллекта

Мы склонны видеть вместо общечеловеческих качеств индивидуальные различия. Поэтому, когда кто-то говорит слово «интеллект», мы думаем скорее об Эйнштейне, чем об обычных людях. Индивидуальные различия в человеческом интеллекте имеют стандартное обозначение, известное как G-фактор Чарльза Спирмена. Он представляет собой довольно спорную интерпретацию экспериментальных фактов того, что различные тесты интеллекта высоко коррелируют друг с другом, а также с результатами в реальном мире, такими как суммарный доход за жизнь.

Мы не должны путать G-фактор Спирмена с общечеловеческой интеллектуальностью, то есть нашей способностью обрабатывать широкий круг мыслительных задач, непостижимых для других видов. Общая интеллектуальность — это и межвидовое различие, и комплексная адаптация, и общечеловеческое качество, обнаруживаемое во всех известных культурах. Возможно, еще нет академического согласия о природе интеллектуальности, но нет сомнения в существовании или силе этой «вещи-требующей-объяснения». Есть что-то такое в людях, что позволяет нам оставлять следы ботинок на Луне.

Опасность перепутать общую интеллектуальность с G-фактором состоит в том, что ведет к колоссальной недооценке потенциального воздействия ИскИна. (Это относится к недооценке потенциально хороших, равно как и плохих воздействий.)

Способности и мотивы

Есть один вид ошибок, часто встречающийся в дискуссиях об ИскИнах, особенно об ИскИне со сверхчеловеческими способностями. Кто-нибудь говорит: «Когда технологии продвинутся достаточно далеко, мы будем способны создавать интеллекты, далеко превосходящие человеческие. Очевидно, что размер ватрушки, которую вы можете испечь, зависит от вашего интеллекта. Суперинтеллект может создавать гигантские ватрушки — ватрушки размером с города — боже мой, будущее будет полно гигантских ватрушек!» Вопрос в том, захочет ли суперинтеллект создавать огромные ватрушки. Подобное видение перепрыгивает от возможности прямо к реализации без осознания необходимого промежуточного элемента — мотива.

Все следующие цепочки рассуждений, рассматриваемые сами по себе без подтверждающего доказательства, являются примером Ошибочных Рассуждений В Духе Гигантской Ватрушки:

• Достаточно сильный ИскИн может преодолеть любое человеческое сопротивление и истребить человечество. (И ИскИн решит сделать это.) Поэтому мы не должны строить ИскИны.

• Достаточно сильный ИскИн может создать новые медицинские технологии, способные спасти миллионы человеческих жизней. (И он решит сделать это.) Поэтому мы должны создать ИскИны.

• Когда компьютеры станут достаточно мощны и дешевы, огромное большинство работ будет выполняться ИскИнами более легко, чем людьми. Достаточно сильный ИскИн даже будет лучше нас в математике, конструировании, музыке, искусстве и во всех других работах, которые нам кажутся важными. (И ИскИн решит выполнять эти работы.) Таким образом, после изобретения ИскИна людям будет больше нечего делать и мы будем голодать или смотреть телевизор.

Угрозы и перспективы

Пытаться предсказать, как именно благожелательный ИскИн поможет человечеству, или недружественный ИскИн повредит ему, — рискованное интеллектуальное предприятие. Здесь есть риск систематической ошибки: каждая добавленная деталь обязательно уменьшает общую вероятность всей истории, но испытуемые склонны приписывать большую вероятность историям, которые включают четкие добавленные детали [10]. Есть риск — почти наверняка — потерпеть неудачу, пытаясь вообразить сценарий будущего; и есть риск ошибочных рассуждений в духе Гигантской Ватрушки, которые перескакивают от возможности к мотиву.

Тем не менее я попробую очертить угрозы и перспективы. Будущее имеет свойство совершать подвиги, которые прошлое считало невозможными. Цивилизации будущего даже нарушали то, что цивилизации прошлого считали законами физики. Если бы пророки 1900 года — и даже не думайте о 1000 годе — попытались определить границы силы человеческой цивилизации через миллиард лет, то некоторые из названных ими невозможностей были бы преодолены до конца столетия (превращение свинца в золото, например). Поскольку мы помним, что цивилизации будущего удивляли цивилизации прошлого, то мы не можем накладывать ограничений на своих праправнуков. И все же в XX веке, в XIX веке и в XI веке мы все были людьми.

Можно различить три семейства ненадежных метафор для представления об ИскИне, превосходящим интеллектуальные возможности человека:

• Метафора G-фактора: вдохновлена различиями индивидуального уровня интеллекта людей. ИскИн будет патентовать новые технологии, публиковать прорывные статьи, делать деньги на фондовом рынке или возглавлять политические блоки.

• Историческая метафора: вдохновлена знанием различий между прошлыми и будущими человеческими цивилизациями. ИскИн быстро создаст набор возможностей, который обычно связывается с человеческой цивилизацией через сто или тысячу лет: молекулярную нанотехнологию, межзвездные путешествия, компьютеры, выполняющие 10²⁵ операций в секунду.

• Видовая метафора: вдохновлена различиями в архитектуре мозга между видами живых существ. ИскИн овладеет магией.

Метафора G-фактора наиболее популярна в современной футурологии: когда люди думают об интеллектуальности, они думают о человеческих гениях, а не о людях вообще. В историях о враждебном ИскИне G-метафоры ответственны за «хорошую историю» в духе Бострома: а именно за оппонента, достаточно могущественного, чтобы создать драматическое напряжение, но не достаточно могущественного, чтобы мгновенно истребить героев, как мух, и, в конечном счете, достаточно слабого, чтобы проиграть в последних главах книги. Голиаф против Давида — пример хорошей истории, но Голиаф против мушки дрозофилы — нет.

Если мы рассматриваем метафору G-фактора, то риски глобальной катастрофы в этом сценарии относительно умеренные: враждебный ИскИн — не большая угроза, чем враждебный человеческий гений. Если мы предполагаем множественность ИскИнов, то тогда мы имеем метафору конфликта между племенем ИскИнов и племенем людей. Если племя ИскИнов выиграет в военном конфликте и истребит людей, то, согласно Нику Вострому, это глобальная катастрофа по типу Взрыва. Если племя ИскИнов будет экономически доминировать над миром и обретет эффективный контроль над судьбой возникшей на Земле разумной жизни, но цели ИскИнов не будут для нас интересными или стоящими, то это будет катастрофа в духе Визг, Хныканье или Хруст.