Все под контролем: Кто и как следит за тобой

Смоделированному человеку нельзя доверять

К счастью для пользователей Интернета, история с Тенгом вымышленная. Хотя я часто завожу «электронные знакомства» с людьми, которых встречаю в списках электронной рассылки по профессиональной тематике, у меня есть достаточно оснований полагать, что мои корреспонденты, находящиеся в Англии, Индии или Японии, являются существами из крови и плоти, а не компьютерными программами, засланными собирать интимные подробности моей жизни.

Между тем многие технологии, необходимые для создания Тенга, существуют уже сегодня. Конечно, Тенг не может быть создан как полноценная модель человеческого интеллекта. Однако он и еще тысячи подобных моделей могут быть созданы путем использования шаблонов, на основе стереотипности мышления, предсказуемости ответов и большого количества средств автоматизированной обработки текста.

Тенг представляет угрозу основам, на которых строятся человеческие отношения. Доверие, честность, уникальность и юмор – ценные качества. Ложь не одобряется ни в одном человеческом обществе. Люди понимают, что это неправильно, и очень часто чувствуют вину, обманывая других. Эти проблемы встают каждый раз, когда люди общаются друг с другом. Правда, всегда найдутся те, кто не захочет играть по правилам, но их достаточно легко вычислить через некоторое время. Общество даже наказывает таких людей, когда они слишком заходят за рамки этики.

Смоделированный человек не может испытывать чувство раскаяния. Он не понимает языка обычных эмоций, созданного человеческим сообществом. Маскирующийся под человека компьютер, который пытается строить человекоподобные отношения и никогда не откроет, что он машина, может быть применен только для использования в неких целях реальных людей, с которыми он вступает в контакт.

ELIZA и ее потомки

Первой компьютерной программой, имитирующей человека, была ELIZA, разработанная Джо Вейценбаумом [Joe Weizenbaum] из Лаборатории искусственного интеллекта Массачусетского технологического института. ELIZA представляла собой простейшую модель человеческого интеллекта. Вейценбаум создал программу в начале 1960-х, когда остальной персонал Лаборатории ИИ бился над созданием компьютера, способного понимать английский язык. Но это было слишком сложно. Вместо того чтобы пытаться создать разумный компьютер, Вейценбаум создал компьютерную программу, поведение которой выглядело разумным. «Я взял все свои шутки, собрал их вместе и на этой основе запустил ELIZE», – рассказывал он исследователю-историку искусственного интеллекта Даниелю Кревье [Daniel Crevier]. [222]

ELIZA была очень простой программой, изображавшей роджерианского психотерапевта – последователя школы психиатрии, основанной Карлом Роджерсом. Роджерианская техника состоит в побуждении пациента говорить о своих проблемах, отвечая вопросом на вопрос. ELIZA анализировала введенные человеком фразы, находила среди частей речи глаголы и существительные, переворачивала предложение наоборот и выводила его на экран. Вы могли сказать программе: «Мой парень заставил меня прийти сюда», на что ELIZA отвечала: «Почему Ваш парень заставил вас прийти сюда?» Если у нее возникали затруднения, она могла вернуться к более ранним темам разговора или отделаться шаблонной фразой типа: «Почему Вы пришли сюда сегодня?»

На опытного специалиста-компьютерщика или лингвиста ELIZA не производила впечатление сложной и умной программы. Но для неподготовленного пользователя ее способность поддерживать разговор казалась удивительной. Даже люди, которые знали, что ELIZA – всего лишь компьютерная программа, увлекались этой игрой. Они доверяли ей свои личные секреты и проблемы. «Секретарь Вейценбаума, которая наблюдала в течение нескольких месяцев работу над программой, попросила, однако, выйти его из помещения на время ее первого „терапевтического“ сеанса с программой», – пишет Кревье.

Шокированный поведением своего детища, Вейценбаум вскоре пришел к выводу, что «основная идеология развития искусственного интеллекта – искусственный разум – безнравственна».

После того как ELIZA была написана, этот «подвиг» повторили десятки тысяч программистов. Хью Лебнер [Hugh Loebner], изобретатель и богатый филантроп, спонсирует ежегодный конкурс по написанию программ, имитирующих человека. Автора программы, поведение которой невозможно будет отличить от поведения реального человека из плоти и крови, ожидает приз в размере 100 тысяч долларов и медаль из чистого золота весом 14 карат. [223] Пока это не удалось никому. Большинство представленных на конкурс программ «срезались» из-за недостаточного владения английским языком и отсутствия доступа к огромному количеству знаний, являющихся для всех нас само собой разумеющимися.

Однако в менее формальных условиях программы, подобные ELIZA, могут быть приняты за человека. Первое описание такой ситуации, наиболее ярко демонстрирующее проблему приватности применительно к искусственному интеллекту, относится к 1989 году. Речь идет об общении программы MGonz, запущенной в Ирландии, и старшекурсника университета Дрейк в Айове. MGonz была создана Марком Хамфрисом [Mark Humphrys], старшекурсником университетского колледжа в Дублине. Программа отличалась от ELIZA тремя важными моментами. Во-первых, вместо того чтобы общаться на классическом английском языке, MGonz часто обращалась к сленгу, используемому малолетними хакерами. Во-вторых, автор провел «стажировку» программы в сети BITnet, позволяя ей обмениваться короткими сообщениями с участниками сети по всему миру. Наконец, MGonz вела журнал всех своих переговоров.

Во вторник вечером, 2 мая 1989 года, Хамфрис оставил программу запущенной и ушел домой. В 20:12 по ирландскому времени студент из Дрейка начал посылать сообщения программе. Программа отвечала ему. В течение последующего часа и двадцати минут программа выудила из дрейковского студента подробности его сексуальной жизни. К концу сеанса, не осознавая, что ведет диалог с машиной, студент поведал программе, что он потерял девственность в 17 лет, а прошлой ночью занимался сексом в спальне своей подружки. «Войдя в систему на следующий день, я был немало удивлен, что программа успела натворить в мое отсутствие», – вспоминает Хамфрис, поместивший позже запись этой сессии в Интернет (предварительно удалив из текста, по понятным соображениям, имя студента из Дрейка). [224] Хамфрис сказал мне:

MGonz лишь одна из многих программ искусственного интеллекта, прокладывающих свой путь через киберпространство. Другой робот, вызвавший раздражение многих миллионов людей, носил имя Zumabot. Zumabot сканировал конференции Usenet в поисках публикаций, содержащих слово «Turkey», [p66] и отвечал на них агрессивными сообщениями о мнимом массовом убийстве мусульман в Армении во время Первой мировой войны.

По мнению автора статьи, появившейся в Internet Underground, создание Zumabot было оплачено турецкими спецслужбами. Программа буквально стала пропагандистской машиной. Ее целью было дискредитировать тех, кто говорил о массовом убийстве турками армян в 1917 году, путем многократного повторения, что все было наоборот. «Zumabot был частью широкомасштабной политики подавления разногласий среди турецких экспатриантов». [226]