Последнее изобретение человечества

Здесь, в эпицентре глобальной технологии, я ехал к дому Елиезера Юдковски самым старомодным способом — по письменным указаниям (хотя и во взятой напрокат машине, и в айфоне у меня имелись GPS-навигаторы). Юдковски, стремясь сохранить информацию о себе в тайне, прислал схему проезда по электронной почте, попросив при этом никому не открывать ни физический, ни электронный его адрес. Телефонный номер он мне сообщать не стал.

В свои тридцать три года Юдковски, один из основателей и сотрудник Института машинного интеллекта, написал об опасностях ИИ больше, чем кто бы то ни было. Больше десяти лет назад, когда Юдковски только начинал свою профессиональную деятельность, людей, посвятивших, как он, свою жизнь изучению опасностей искусственного интеллекта, практически не было. Он, конечно, не приносил никаких формальных клятв, но и тогда, и теперь избегает всякой деятельности, которая могла бы увести его внимание от главного вопроса. Он не пьет, не курит, не употребляет наркотики. Редко появляется на публике и мало общается с коллегами. Несколько лет назад он отказался от чтения ради удовольствия. Он не любит давать интервью, а если уж дает, то предпочитает делать это по скайпу с лимитом времени в полчаса. Он атеист (среди специалистов по ИИ это скорее правило, чем исключение), так что ему не приходится тратить драгоценные часы в церкви. У него нет детей, хотя он их любит и считает родителей, которые не подписали своих детей на криоконсервацию [11], плохими родителями.

Но обратите внимание на парадокс. Для человека, вроде бы дорожащего тайной своей личной жизни, Юдковски выложил в Интернет слишком много информации о себе. После первых же попыток найти этого человека я выяснил, что в любом уголке Сети, где ведутся дискуссии о теории разума и грядущих катастрофах, никуда не деться от него самого и его самых сокровенных размышлений. Если вы задумываетесь о разрушительности ИИ, не забудьте освободить в своей жизни место под идеи Юдковски.

Благодаря его вездесущности я узнал, к примеру, что его младший брат Иегуда покончил с собой в родном Чикаго в возрасте девятнадцати лет. Горе Юдковски вылилось в онлайновую тираду, которая и сегодня, почти десять лет спустя, задевает за живое. Еще я узнал, что, бросив школу в восьмом классе, Юдковски самостоятельно изучил математику, логику, историю науки и вообще все, что показалось ему необходимым. Среди других освоенных им навыков — убедительная риторика и умение писать плотную и часто забавную прозу:

Юдковски всегда спешит, потому что его работа жестко ограничена по срокам — ограничена тем днем, когда кто-нибудь создаст наконец ИИ человеческого уровня. Если исследователи построят свой ИИ с предохранителями, о которых говорит Юдковски, он может оказаться спасителем человечества, и не только человечества. Но если интеллектуальный взрыв все же произойдет и окажется, что Юдковски не удалось внедрить достаточно предохранителей, то и мы с вами, скорее всего, превратимся в серую слизь, а с нами и Вселенная. Эта идея находится в самом центре его собственной космологии.

Я приехал к нему, чтобы узнать побольше о дружественном ИИ (термин, введенный Юдковски). По его мнению, дружественным можно назвать такой ИИ, который навсегда сохранит человечество и наши ценности. Он не станет уничтожать наш биологический вид или расползаться по Вселенной подобно пожирающей планеты космической чуме.

Но что такое дружественный ИИ? Как его создать?

Мне хотелось также услышать рассказ об эксперименте «ИИ в ящике», а особенно узнать, как мой собеседник играл роль искусственного интеллекта человеческого уровня, как он уговаривал Привратника выпустить его на волю. Я уверен, что когда-нибудь вы лично, или кто-то из ваших знакомых, или кто-то удаленный от вас на пару рукопожатий в самом деле окажется в кресле Привратника. Этому человеку необходимо знать заранее, чего можно ожидать в такой ситуации и как этому сопротивляться. Может быть, Юдковски это знает.

Жилище Юдковски располагается в концевой секции подковообразного двухэтажного дома с бассейном, искусственным водопадом во внутреннем дворике и садом вокруг. Его квартира просторна и безукоризненно чиста. Почетное место на островке в кухне занимают монитор и компьютер, рядом стоит единственный в квартире мягкий барный стул, с которого в окно виден дворик. Здесь хозяин квартиры пишет свои книги.

Это высокий человек ростом около 180 см, склонный к эндоморфизму (это значит, что он округл, но не жирен). Мягкие обезоруживающие манеры производят приятное впечатление по контрасту с резкими короткими электронными письмами, с которых начиналось наше знакомство.

Мы сидели на кушетках напротив друг друга. Я сказал Юдковски, что основной мой страх относительно ИИ связан с тем, что в мире не существует методик программирования таких туманных и сложных вещей, как мораль или дружелюбие. Так что мы получим машину, которая будет прекрасно решать задачи, обучаться, адаптироваться к обстановке и оперировать понятиями в рамках здравого смысла. Мы будем считать ее похожей на человека. Но это будет нашей трагической ошибкой

Юдковски согласился со мной.

Мало того, он будет на 100 % плох. Автомобили существуют не для того, чтобы убить вас, провел аналогию Юдковски, но их потенциальная опасность — побочный продукт автоиндустрии. Точно так же будет с ИИ. Он вряд ли будет вас ненавидеть, но вы состоите из атомов, которым он, возможно, найдет иное применение, и он, как сказал Юдковски, «…будет, скорее всего, сопротивляться любым вашим действиям, направленным на то, чтобы сохранить эти атомы в своем владении». Так что побочным эффектом бездумного программирования станет то, что готовый ИИ не будет трепетно относиться к вашим атомам.

При этом ни общественность, ни разработчики ИИ не заметят опасности, пока не станет слишком поздно.

Юдковски говорит, что создатели ИИ заражены идеей счастливого будущего, преображенного искусственным интеллектом, и эта идея живет в их воображении. Они думают о ней с тех самых пор, как их укусила муха ИИ.