Журнал «Компьютерра» № 35 от 26 сентября 2006 года

13-я КОМНАТА: Этика машин и механизмов

Автор: Леонид Левкович-Маслюк

В этом номере вы найдете статью о «биржевых роботах» — компьютерных программах, зарабатывающих для своих владельцев деньги на фондовом рынке. Соотношение квалификации электронных и живых трейдеров сейчас такое же, как было у шахматистов и шахматных программ накануне матча Каспарова с Дип Блю. Как известно, тогда победил компьютер. Есть признаки, что и на рынке акций электронные финансисты вот-вот будут доминировать. Особых бед человечеству это вроде бы не сулит — но есть ли «темная сторона» у интеллектуальных успехов машин в других занятиях? В какой еще игре они скоро переиграют нас, — и чем это нам грозит?

Хорошо, что подобные вопросы приходят в голову не только празднолюбопытствующим наблюдателям. О том же думают разработчики и теоретики систем искусственного интеллекта. И не просто думают, а работают над ответными мерами — над защитой от непредсказуемых капризов машинного разума. Пророчества Айзека Азимова с его знаменитыми законами роботехники (помните — «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред»?) сбываются в самом прямом смысле. Просматривая свежие издания по ИИ, я обнаружил целую подборку статей, посвященных фантастическому предмету — машинной этике (IEEE Intelligent Systems, July/August 2006, по материалам симпозиума по машинной этике Американской Ассоциации искусственного интеллекта AAAI, состоявшегося прошлой осенью).

С человеческими мерками к компьютерным системам начали подходить давно. Например, обсуждение вопросов о (потенциальных) юридических правах и обязанностях вычислительных машин можно встретить даже в специальных и популярных юридических изданиях, далеких от научной фантастики. Но практика дает все основания для сдержанной тревоги. По исследовательской программе армии США в DARPA полным ходом идут работы по созданию боевых роботов огневой поддержки. Вспомним недавний триумф другой исследовательской программы, гражданской, — автономно управляемый компьютером автомобиль проехал по пересеченной местности 132 мили (можно считать, «площадку сдали», следующий великий вызов — «сдать город»; у нас это легко бы сделал любой финансовый робот, но в Штатах придется идти другим путем). Ну а корейцы поставили перед собой совсем уж амбициозную задачу — к 2010 году обеспечить каждую семью хоть одним роботом. Успехи такого рода проектов и подстегивают исследования по машинной этике — встроенным механизмам защиты людей («и других машин», уточняют пунктуальные авторы) от неадекватного поведения систем, управляемых компьютером.

Главным аппаратом для внедрения этики в цифровые мозги сегодня считается деонтическая логика (deontic logic), которая формализует понятия «обязательно», «разрешено» и т. п. Такие конструкции исследовали еще Аристотель и Лейбниц — а сегодня на основе этого аппарата уже разработана процедура инсталляции «любого заданного множества этических принципов в процедуру принятия решений автономной системы». Вот так, без сантиментов — любого. Прямо как в жизни. Но что особенно восхитительно — исследована и методика компьютерного воплощения (теми же средствами) кантовского «категорического императива», некоей абсолютной нравственности на уровне битов и байтов. Что ж, как и следовало ожидать, принцип «что заложишь, то и получишь» остается в силе.

А стало быть, этика, сведенная к битам и байтам, все-таки не совсем то, чего иногда наивно ждешь от ближнего, да и от самого себя. До азимовских роботов нам всем еще расти и расти.

НОВОСТИ: Лицо и изнанка безопасности

Автор: Киви Берд

Приход новой ОС Microsoft Windows Vista — хоть и неоднократно переносившийся — грядет, как бы там ни было, с неумолимостью смены времен года. Но чем ближе становится эта дата, тем острее ощущается давний конфликт между корпорацией Microsoft и властями объединенной Европы, с помощью антимонопольных механизмов пытающихся то так, то эдак поставить под контроль деятельность софтверного гиганта в странах Евросоюза. Уже пошли разговоры о возможной принудительной задержке вывода новой ОС на европейский рынок, если корпорация и дальше будет артачиться.

Любопытно, что о сути претензий Европы к Microsoft по поводу Vista до сих пор не известно ровным счетом ничего. Руководство корпорации, летом уже обложенное изрядным штрафом в 280 млн. евро за неподчинение решению европейского антимонопольного суда о раскрытии особенностей работы серверных протоколов (помимо первого полумиллиардного штрафа, наложенного в марте 2004 года), сейчас настаивает на получении от ЕС четких инструкций — что можно делать на континентальном рынке, а что нельзя. Евросоюз, в свою очередь, ссылается на отправленный корпорации список из 79 вопросов, которые имеются у Еврокомиссии относительно Vista. В Microsoft же на это заявляют, что нуждаются в ответах, а не формальном списке вопросов…

Чиновники Евросоюза не желают оглашать детали, не понравившиеся им в новой ОС Windows. Но есть достоверная информация, что камнем преткновения стали развитые функции безопасности Vista. Знакомясь с подсистемами защиты, встроенными в новую ОС, нетрудно понять, что могло вызвать озабоченность антимонопольных инстанций Европы.

Подсистема Windows Defender — инструмент для защиты от шпионского ПО — является частью всех версий Vista. Аналогичные по функциональности продукты предлагают многие разработчики, однако вплоть до последнего времени сторонние программы при инсталляции не могли сами отключать Defender.

Windows Security Center — подсистема, оценивающая и докладывающая пользователю о текущей защищенности ПК. Microsoft заверяет, что Vista «нейтрально» оценивает статус любой программы безопасности. Однако разработчики стороннего ПО гораздо меньше уверены в беспристрастности этого инструмента, коль скоро сама Microsoft стала ныне могущественным конкурентом и на этом поле.

PatchGuard — специфическая подсистема 64-битной версии Vista, позволяющая оградить ядро от внешних воздействий. Разработчики средств безопасности считают, что для эффективной защиты машины они должны иметь доступ к системе на уровне ядра, а PatchGuard искусственно ограничивает функциональность и качество их программных продуктов.

BitLocker включена в состав версий ОС Vista Ultimate и Vista Business, давая пользователям возможность шифровать данные на жестком диске. BitLocker уже имеет репутацию чрезвычайно надежного и невскрываемого средства криптозащиты, а будучи встроенным в систему, это ПО оставляет за бортом возможных конкурентов.

Из публичных комментариев Microsoft по поводу конфликта с ЕС следует, что европейскую администрацию не устраивает столь глубокое встраивание средств безопасности в ОС Vista. А корпорация, в свою очередь, хотела бы донести до пользователей свой продукт в том виде, в каком он был задуман и разработан — с максимальным упором на безопасность.

Хотя рисуемая Microsoft картина и выглядит правдоподобно, в ней упущен один существенный нюанс. А именно политическая ситуация в мире и тесно связанные с нею особенности деятельности спецслужб США. Не секрет, что ради национальной безопасности американская госадминистрация стремится контролировать технологии, связанные с коммуникациями и хранением данных. С одной стороны, это тотальный перехват и анализ компьютерных, телефонных и прочих систем связи, с другой — максимальное ограничение доступа к любой информации, так или иначе касающейся вопросов безопасности.

Европа в последнее время имела возможность многократно и весьма болезненно столкнуться с этой малоприятной позицией. Здесь и история с американским мониторингом международной банковской сети SWIFT, базирующейся в Брюсселе. И широкомасштабный тайный перехват национальных сетей сотовой связи Греции и Италии, следы от которого выразительно ведут в США. И не менее скандальная история из смежной области — с категоричным отказом американцев предоставить Великобритании коды программ, управляющих новейшим истребителем F-35 Joint Strike Fighter, хотя англичане вложили в разработку этого самолета многие сотни миллионов долларов.