Журнал "Полдень XXI век" 2005 №1

С Александром Житинским беседовал Ник. Романецкий

Станислав Бескаравайный

Возможный бунт машин и методы борьбы с ним

Если судить по тем мерам предосторожности, что принимались в связи с «проблемой 2000», или по регулярным всплескам эпидемий компьютерных вирусов, по той волне общественного беспокойства, что этому сопутствует, то скоро проблема всеобщего выхода из строя или бунта компьютеров приобретет такую же актуальность, какую имел в древнем Риме страх перед восстаниями рабов.

Древнеримское, как и любое другое рабовладельческое общество, в отличие от современного, имело четкую идеологию, объясняющую причины бунтов, и не менее четкую программу их подавления. А вокруг современного бунта машин витает столько мифов, предрассудков и взаимоисключающих гипотез, что необходимость добиться хоть какой-нибудь ясности ни у кого не должна вызывать сомнение.

Рассмотрим некоторые аспекты возможного зарождения овеянного мифами компьютерного разума. Прежде всего, надо определить базу, носитель этого Deus ex machina, вызывающего столь много пересудов.

Особенность современных компьютеров есть их все возрастающая взаимосвязанность. Если уже сейчас значительная часть продающихся сотовых телефонов дает возможность выйти в Internet, ни у кого не вызывает удивления подключенный к нему же холодильник или телевизор, и на каждом шагу трубят о возможных преимуществах всемирной паутины, то не будет большим преувеличением сказать, что уже в ближайшем будущем любой механизм, имеющий в себе хоть несколько полупроводниковых соединений, хоть милливольт напряжения и хоть чем-то похожий на автоматику, будет включен в подсистему себе подобных. И подсистема эта будет так или иначе связана со всемирной паутиной.

Эта совокупность процессоров, проводов и прочего «железа» неоднородна по мощности и раздроблена каналами связи. Скорость обращения информации внутри компьютеров и между ними различается на порядок. Каналы связи отнюдь не пустуют и уже загружены информацией. Поэтому сумму «железа» необходимо разделить на периферию, которая может выступать лишь в качестве инструмента Deus ex machina, и ядро, где шли бы основные процессы обработки информации. Поэтому компьютеризированный телевизор никак не может стать прибежищем компьютерного разума, а вот от серверных станций или киберферм, содержащих десятки тысяч подобных станций, этого вполне можно ожидать.

Такая материально единая структура, однако, совсем не соответствует тому хаосу программ, программного обеспечения и т. п., что содержится во всемирной паутине. Некоторая совместимость форм программного обеспечения компенсируется полным противоречием их содержания. Ситуацию можно сравнить с той, что возникла бы в случае телепатического объединения мыслей всех обитателей биосферы Земли — понятие об охоте есть и у лисы, и у зайца, но цели при этом у них прямо противоположные. Осложняется эта картина еще и почти неограниченными возможностями передачи и копирования информации — этаким непрерывным «переселением душ».

В принципе объединенные машины и механизмы могут функционировать как единая система, но сегодня нет такой объединительной силы, координирующее влияние которой могло бы объединить компьютеры.

Налицо пока только спорадические выходы компьютеров из повиновения, когда локальные сети поражаются вирусами. Типичный пример — «зависание» диспетчерской компьютерной сети Лондонского аэропорта.

Здесь перед нами встает вопрос — сознательными ли должны быть действия компьютеров во время их бунтов. Нельзя ли считать бунтом их общий выход из строя, а если нет, то что такое сознание машины.

Даже полный выход из строя всех компьютеризированных механизмов или их хаотические действия нельзя считать бунтом — такие явления относительно легко предсказать и с ними справиться. В конечном итоге такое явление приведет к массовому отключению механизмов и длительным профилактическим обследованиям — то есть это фактически самоубийство Deus ex machina.

Нечто глобальное и недружелюбно настроенное по отношению к человеку может быть только продуктом сознания. О том, что есть сознание, о его происхождении и структуре написаны горы специальной литературы. Автор не претендует на еще более глубокие познания в этом вопросе, поэтому в основу дальнейших рассуждений будет положено несколько компилятивное определение: «Обладать сознанием — значит создать и использовать в своих действиях некую систему образов и понятий, отображающих окружающую действительность». Чем глубже позволяет эта система проникнуть в сущность вещей, чем лучше она отображает действительность — тем более развито сознание.

С одной стороны, это хорошо: никакой компьютерный вирус такую систему создать не сможет. Стало быть, даже самые нелояльные по отношению к человеку действия машин, вызванные вирусами, останутся хаотическими и легко изолируемыми. Но, с другой стороны, люди сами, с неослабевающим упорством, пытаются создать искусственный интеллект (ИИ), наделенный сознанием.

Еще Станислав Лем показал, что холодная война толкает промышленность к созданию оборонного ИИ, как идеального штабного работника, полководца да и солдата [4]. Даже после прекращения противостояния супердержав к точно такому же результату толкает компьютерные корпорации их взаимная конкуренция. Более того, ИИ необходим фирмам и потребителям не только как идеальный дизайнер, менеджер и т. п. — это достаточно отдаленная перспектива, — но он нужен как идеальный помощник, референт, ходячий блокнот того же дизайнера или менеджера.

Наиболее велика вероятность появления ИИ в той же роли, что и во время холодной войны, — стратега и тактика, который на основе сопоставления тысяч фактов мгновенно выносит управленческие решения. Такие программы должны будут обладать: а) большими оперативными возможностями; б) умением сопоставлять окружающую действительность с данными виртуального пространства; в) способностью к быстрому качественному (благодаря большому количеству вспомогательных программ) и количественному (набор вычислительных возможностей) росту.

Помимо этого, в обрабатываемой ИИ информации будет содержаться множество алгоритмов, доктрин, моделей поведения и концепций развития, по сути своей нелояльных человеку. Уже сейчас есть программы для поиска преступников, выявления налоговых недоимок, охраны закрытых объектов. А компьютерный менеджер должен будет рассчитывать количество увольняемых рабочих, выискивать ошибки политических противников своего хозяина или вероятное количество погибших во время военной операции. И вот здесь роль мутагенного фактора, изменяющего лояльную модель поведения на агрессивную, может сыграть любой удачно запущенный вирус.

Следует заметить, что Deus ex machina может быть не только создан искусственно, но и зародиться самопроизвольно. Программы, обслуживающие крупные серверы и другие подобные информационные узлы, для совершенствования своей работы будут оснащаться возможностями по частичному распознаванию обрабатываемой информации (в частности, программа поверхностного анализа содержания электронной почты). Качественный перевод сложного текста или разговора также невозможен без частичного наделения машины сознанием.

Вывод из перечисленных фактов весьма прост: возникновение Deus ex machina в конечном итоге неизбежно, как неизбежно любое событие, характеризуемое очень высокой вероятностью, будь то выстрел при игре в русскую рулетку или падение предмета, имеющего только одну точку опоры.

Какие же признаки будут отличать сознательные действия компьютерного разума от действий тех же вирусов?

За ответом можно обратиться в область биологии и рассмотреть, чем отличаются действия бессознательных существ от действий сознающих окружающее организмов.

Простейший тип общения с окружающей средой представляют растения — оно ограничено взаимодействием на уровне сложных химических реакций. Благодаря им растение поддерживает свое существование — они идут ему на пользу. Таким образом, своекорыстность действий — первый признак их организованности.