Российская Академия Наук

15. Ошибочное представление о том, что прогресс в понимании работы ума идёт очень медленно. Поэтому ИИ будет работать очень медленно

Юдковски опровергает это примером разницы между временем разработки ядерного оружия и скоростью процессов в бомбе.

16. Ошибочное представление о том, что человек способен делать X (подставить нужное), что никогда не сможет делать ИИ, и поэтому ИИ не представляет никакой угрозы

«X» может быть в разных интерпретациях творческое озарение, интуицию, быстрое распознавание образов, переживание чувств, осознание, любовь. Однако:

1. Мы не знаем, чего может или не может ИИ, пока не сделаем его.

2. ИИ может быть опасен, даже если он не может Х. Например, он может выигрывать у нас в шахматы, на бирже, или в любую другую жизненно важную для нас игру.

3. Если есть некая задача, которую может решать только человек, ИИ может нанять или подчинить себе людей для её решения – так современное государство нанимает учёных, и даёт каждому фрагмент задачи по разработке, скажем, атомной бомбы.

17. Ошибочное представление о том, что ИИ невозможен, потому что он мыслит алгоритмически, а человек –неалгоритмически

Требование алгоритмичности при создании ИИ не является необходимым. Генетические алгоритмы, квантовые компьютеры, вживление нейронов в чипы и рандомизированные методы делают требование алгоритмичности условным. Вопрос о том, как именно мыслит человек, пока не открыт. Недавно достигли того, что компьютер стал играть лучше человека в покер (техасский халдом – а ведь именно покер считается той игрой, в которой особенно важна интуиция) и лучше человека играть на бирже (на моделях). Это означает, что реальные люди будут терять деньги, сталкиваясь с компьютерами на бирже или на онлайн турнирах. Я думаю, что для них вопрос о том, обладает ли компьютер сознанием или является калькулятором не так важен, как то, сколько они потеряли. Если компьютер научится распознавать образы внешнего мира, то он сможет также эффективно побеждать в спорах, преследовать вас в лесу, стрелять по целям, делать чертежи.

Человеку приятно думать, что он лучше компьютера, потому что у него есть интуиция. Однако раз так, то надо относиться с подозрением к этой идее, так как она может быть обусловлена эмоциями. Мы не можем строить свою систему безопасности на утверждении, которое нам приятно. А вдруг мы недооцениваем силу алгоритмов? Вдруг есть такой алгоритм, который работает мощнее нашей интуиции?

18. Ошибочное представление о том, что ИИ будет примерно такой же умный, как и человек

Множество человеческих умов, скорее всего, является только малой частью множества возможных умов. Поэтому маловероятно, что, достигнув человеческого уровня, ИИ на нём остановится. Увеличив его скорость работы, соединив его с тысячами других ИИ добавив компьютерную безошибочность и память, мы можем в тысячи раз усилить ИИ человеческого уровня, не совершая принципиальных открытий.

19. Ошибочное представление о том, что ИИ будет равноправным сотрудником человека с теми же возможностями и правами

Здесь путают ИИ и отдельного робота. В случае, если его возможности будут бесконечно превосходить человеческие, то «равноправие» их будет сильно в ущерб людям. Поскольку в любом равном соревновании он будет обыгрывать людей. Кроме того, у него могут быть свои представления о равноправии.

20. Ошибочное представление о том, что ИИ будет много

Когда мы говорим «вирус распространяется в Интернете», мы имеем в виду один вирус, хотя у него много копий. Когда мы говорим об Интернете, мы имеем в виду один Интернет. Когда мы говорим о государстве (внутри него) мы тоже имеем в виду одно государство. Так же и ИИ будет один, хотя у него может быть множество копий и проявлений. Даже если будет несколько сортов ИИ, то среди них только один будет главным.

21. Различия в понимании того, что, собственно, является интеллектом

Вероятно, дать правильное определение интеллекта – это уже почти создать искусственный интеллект. С точки зрения безопасности такое определение дать проще: ИИ – это машина, способная побеждать человека в любом виде деятельности (или даже меньше: хотя бы в одном виде деятельности, который жизненно важен для человека, при этом мы имеем в виду под деятельностью управлением процессами – то есть информационную деятельность). То есть мы определяем ИИ через его способность решать практически измеримые задачи. Мы оставляем в стороне вопрос о сознании, свободе воли, творчестве. Это определение в принципе тождественно предлагаемому Юдковски определению ИИ как «мощного процесса оптимизации».

22. Ошибочное однозначное отождествление ИИ как отдельного объекта

ИИ определяется тем, что он делает (эффективно осуществляет процесс оптимизации), однако представление о том, что есть сущность, порождающая эти действия, может вести нас к заблуждениям. Например, процесс эволюции в дарвиновском смысле порождает всё более эффективные решения. Однако у этого процесса нет никакого центра, который ставит цели или который можно уничтожить.

23. Ошибочное представление о том, что достаточно спрятать ИИ в чёрный ящик, что он был безопасен

Если мы поместили ИИ в чёрный ящик (то есть полностью изолировали его), а затем получили результаты его работы, то значит, произошёл двухсторонний обмен информацией, и чёрный ящик не является таковым. Если мы не получаем никакой информации из чёрного ящика, это равносильно тому, что вообще его не включать. Трудность здесь ещё в том, чтобы знать, что ИИ уже возник, чтобы понять, что нам пора помещать его в чёрный ящик. Наконец, ИИ может взломать чёрный ящик изнутри, например, излучая радиосигналы, или считывая колебания тока в системе питания.

24. Ошибочное возражение следующего рода: «В Японии уже был проект по созданию ИИ в 80-е годы, и он потерпел неудачу, поэтому ИИ невозможен»

В 1880-е годы было несколько проектов по созданию самолёта, и они потерпели неудачу. После этого распространилось мнение, что самолёт невозможен. То есть несколько неудачных попыток с негодными средствами не значат принципиальной невозможности. Кроме того, проект в Японии не заглох до конца, и из него выросли другие ИИ-проекты, просто менее афишируемые. Однако эта яркая неудача повлияла как на доверие публики к таким проектам, так и на склонность исследователей обещать невероятные результаты.

25. Ошибочное представление о том, что ИИ надо дать команду Z (подставить нужное), и всё будет в порядке

«Z» может быть «любить всех людей», «не причинять людям вреда», «слушаться только меня» и т. д. Дело в том, что мы не можем проверить, как именно ИИ реализует любую команду, пока не запустим его. А когда запустим, может быть поздно.

26. Ошибочное представление в духе: «Когда я достигну эффективности в реализации ИИ, я подумаю о его безопасности»

Неверно. Проверить эффективность ИИ можно, только запустив его на сложной задаче, связанной с реальным миром. Если с ним что-то не так, то о безопасности думать будет поздно. Некоторые типы ИИ могут быть несовместимы с нормативной безопасностью, например, основанные на генетических алгоритмах. Поэтому меры по обеспечению безопасности следует встраивать в ИИ с самого начала, они не могут быть довеском на нём.

27. Ошибочное представление в духе: «Маловероятно, что наш проект по ИИ выйдет из-под контроля»

В мире много ИИ-проектов и мало знаний о том, как измерять вероятность неконтролируемого распространения ИИ. Достаточно потерять контроль над одним проектом. Кроме того, в случае, когда программист использует сильный ИИ в своих целях, с его точки зрения это не выглядит бунтом, но с точки зрения других людей – является им.

28. Ошибочное представление в духе: «Мы можем ни о чём не заботится, потому что ИИ решит все наши проблемы»

Среди сторонников мощного ИИ встречается мнение, что некоторые будущие проблемы не надо решать, потому что, когда появится мощный ИИ, он найдёт лучшее и более точное решение этих проблем. Однако перед запуском мощного ИИ в реальном мире нам надо задать ему некоторый круг задач, а чтобы правильно сформулировать, чего мы хотим и чего не хотим, надо хорошо об этом подумать.