Последнее изобретение человечества

Мы не можем заранее знать, как поступит разум более мощный, чем наш. Мы можем лишь предполагать, какие способности такой интеллект сможет при желании против нас применить (к примеру, он может многократно дублировать себя, чтобы создать целую команду ИСИ для решения задач и одновременной проработки множества стратегических вопросов, связанных с освобождением и выживанием, и действовать при этом вне рамок морали). Наконец, было бы разумно считать, что первый ИСИ не будет настроен по отношению к нам ни дружественно, ни враждебно; ему будут попросту безразличны наше счастье, здоровье и благополучие.

Можем ли мы прогнозировать потенциальный риск от ИСИ? Уоррен Льюис в книге «Технологический риск» разбирает категории риска и классифицирует их по тому, насколько сложно такие риски учесть. Легче всего просчитываются риски событий, происходящих с высокой вероятностью и возможными серьезными последствиями (к примеру, поездка за рулем машины из одного города в другой). Здесь очень много информации, на которую можно опереться в расчетах. События с низкой вероятностью и серьезными последствиями (к примеру, землетрясения) происходят реже, поэтому предвидеть их сложнее. Но последствия таких событий настолько серьезны, что заниматься их прогнозированием имеет смысл.

Существуют также события, вероятность которых низка, потому что никогда прежде ничего подобного не происходило, но последствия которых очень серьезны. Хороший пример — резкое изменение климата в результате загрязнения окружающей среды. До 16 июля 1945 г. — первого испытания бомбы в районе Аламогордо на полигоне Уайт-Сэндз (штат Нью-Мексико) — еще одним таким событием был атомный взрыв. Технически именно к этой категории относится и искусственный суперинтеллект. Опыт в данном случае ничего не подсказывает. Невозможно просчитать вероятность этого события при помощи традиционных статистических методов.

Я уверен, однако, что при нынешних темпах развития ИИ изобретение сверхразума относится скорее к первой категории — это событие с высокой вероятностью и высоким риском. Более того, даже если бы вероятность этого события была низкой, масштабы риска должны были бы выдвинуть его на передний план нашего внимания.

Иначе говоря, я считаю, что Busy Child появится очень скоро.

Страх проиграть разуму, превосходящему человеческий, возник давно, однако только в начале этого века в Кремниевой долине был проведен хитроумный эксперимент, связанный с ИИ, и его результаты мгновенно породили в Интернете легенду.

Слух выглядел примерно так: одинокий гений заключил несколько пари с высокими ставками на игру по сценарию, который он назвал «ИИ в ящике». В ходе эксперимента роль ИИ играл этот самый гений. В роли Привратника выступали миллионеры, сделавшие себе состояние на всевозможных интернет-проектах; они по очереди играли роль создателя ИИ, перед которым стоит задача охранять и удерживать «взаперти» искусственный интеллект. ИИ и Привратник общались в онлайновом чате. Утверждалось, что при помощи одной только клавиатуры человек, игравший роль ИИ, каждый раз умудрялся улизнуть — и таким образом выиграл все пари. К тому же, что еще важнее, он доказал свое утверждение. Если он, обычный человек, сумел посредством слов открыть заключенному в «ящике» разуму путь на свободу, то любой ИСИ, который будет в десятки или в сотни раз умнее, тоже сможет это сделать, причем гораздо быстрее, что приведет, скорее всего, к гибели человечества.

По слухам, после эксперимента гений ушел в подполье. Сам эксперимент, а также статьи и монографии на тему ИИ, написанные этим гением, принесли ему такую известность, что у него даже появилось сообщество поклонников, общение с которыми, однако, никак не приближало его к цели, с которой он начинал эксперимент «ИИ в ящике», — спасти человечество.

В результате он исчез из поля зрения и поклонников, и журналистов. Но я, разумеется, захотел с ним поговорить

ГЛАВА 3

Взгляд в будущее

Майкл Вассар — подтянутый невысокий мужчина лет тридцати. Он обладает научными степенями в области биохимии и бизнеса и прекрасно разбирается в разных способах уничтожения человечества, так что такие слова, как «вирус Эбола» и «плутоний», слетают с его языка без малейших колебаний или иронии. Одна из стен его квартиры в стильном кондоминиуме представляет собой одно большое окно, в котором, как в раме, висит красный мост, соединяющий Сан-Франциско с Оклендом. Это не знаменитый элегантный мост Золотые Ворота, который находится внутри города. Этот красный мост называют его безобразным сводным братом. Вассар рассказал мне, что известны случаи, когда люди, решившие покончить с собой, проезжали через этот мост, чтобы добраться до другого, красивого.

Вассар посвятил свою жизнь тому, чтобы предотвратить самоубийство глобального масштаба. Он является президентом Исследовательского института машинного интеллекта — мозгового треста со штаб-квартирой в Сан-Франциско, основанного для противодействия гибели человеческой расы от рук, вернее, от байтов искусственного интеллекта. На сайте института размещаются серьезные статьи об опасных сторонах ИИ, а раз в год институт собирает представительную конференцию по сингулярности [7]. За два дня работы конференции программисты, нейробиологи, ученые, предприниматели, специалисты по этике и изобретатели обсуждают положительные и отрицательные стороны текущей ИИ-революции. Организаторы равно приветствуют выступления сторонников и противников этого процесса, приглашают к себе и тех, кто уверен, что никакой сингулярности не будет, и тех, кто считает институт апокалиптической техносектой.

Вассар улыбается при мысли о секте.

Я, к примеру, не знал о существовании Исследовательского института машинного интеллекта, пока не услышал об эксперименте «ИИ в ящике». О нем рассказал мне друг, но в его пересказе история вышла сильно искаженной, особенно часть об одиноком гении и его оппонентах-миллионерах. Заинтересовавшись темой, я нашел источник этой легенды на сайте института и выяснил, что автор эксперимента — Елиезер Юдковски — был одним из основателей института (тогда он назывался Институтом сингулярности) вместе с предпринимателями Брайаном и Сабиной Эткинс. Несмотря на приписываемую ему замкнутость, мы с Юдковски обменялись электронными письмами, и он подробно рассказал мне об эксперименте.

Пари между ИИ, за который играл Юдковски, и Привратниками, задача которых состояла в контроле над ИИ, заключались максимум на несколько тысяч долларов, но никак не на миллионы. Всего состоялось пять игр, «ИИ в ящике» выиграл три из них. Это означает, что ИИ, как правило, умудрялся выбраться из «ящика», но все же не каждый раз.

Отчасти слухи об эксперименте «ИИ в ящике» все же были верны: Юдковски и правда живет замкнуто, бережет время и не открывает своего адреса. Я напросился в гости к Майклу Вассару потому, что был потрясен и обрадован тем, что в природе существует некоммерческая организация, призванная бороться с опасностями ИИ, и что умные молодые люди посвящают свою жизнь решению этой проблемы. Но я к тому же надеялся, что разговор с Вассаром поможет мне все же добраться до Юдковски.