Искусственный интеллект. Этапы. Угрозы. Стратегии, стр. 111

75. См.: [Berger et al. 2012; Hampson et al. 2012].

76. В случаях некоторых имплантатов потребуются две формы обучения: устройство учится интерпретировать нейронные представления организма; сам организм учится пользоваться системой, генерируя соответствующие модели возбуждения, см.: [Carmena et al. 2003].

77. Некоторые исследователи предлагают рассматривать корпоративные структуры (компании, профсоюзы, правительства, церковь и тому подобное) в качестве агентов искусственного интеллекта, обладающих сенсорными и исполнительными механизмами, способных выражать знания, делать логические выводы и осуществлять действия; см., например: [Kuipers 2012] — ср. с дискуссией на тему, может ли существовать коллективное представление, см.: [Huebner 2008]. В отличие от людей, у агентов искусственного интеллекта совсем другие способности и внутреннее состояние; кроме того, они явно обладают большими возможностями и намного успешнее в установлении связей с окружающей средой.

78. См.: [Hanson 1995; Hanson 2000; Berg, Rietz 2003].

79. Например, что мешает работодателю в его непосильной борьбе против злоупотреблений на рабочем месте прибегать к помощи детектора лжи, проверяя на нем сотрудников в конце каждого дня; причем вопросы могут быть самые простые: не украли ли они что-нибудь и трудились ли они с должным усердием. Интересно было бы поинтересоваться у политических деятелей и руководителей крупных компаний, насколько они действительно искренни в своих заверениях и готовы ли защищать интересы своих избирателей и акционеров. Иметь такую игрушку было бы очень на руку диктаторам — это облегчило бы им задачу выявлять мятежных генералов в ближнем окружении, а также вылавливать по всей стране открытых противников режима и потенциальных оппозиционеров.

80. Можно представить методы нейровизуализации, когда с помощью компьютерной или магнитно-резонансной томографии обнаруживают нейронные следы так называемого объясненного сознания. Если в системе детектора лжи не заложена функция регистрации заблуждений, оборудование может давать сбой и ошибаться в случае проверки людей, подверженных самовнушению мыслей, не соответствующих действительности. Лучше всего метод выявления самообмана использовать при обучении рациональному мышлению и при изучении эффективных мер, направленных на избавление от когнитивных искажений.

81. См.: [Bell, Gemmel 2009]. Одним из начинателей такого подхода к жизни стал исследователь Массачусетского технологического института Деб Рой; Оснастив дом многочисленными видеокамерами, он запечатлел каждую секунду развития своего сына в первые три года жизни. По мнению Роя, аудиовизуальные данные детского поведения и лепета могут быть полезны с точки зрения анализа развития речевых способностей [Roy 2012].

82. Рост общей численности народонаселения с точки зрения уровня коллективного интеллекта явится лишь незначительным фактором. В случае создания машинного интеллекта население мира (включая цифровых агентов) в течение очень короткого времени вырастет на много порядков. Но такой путь к сверхразуму предполагает создание универсального искусственного интеллекта или полной эмуляции головного мозга, поэтому сейчас мы не будем затрагивать эту тему.

83. См.: [Vinge 1993].

Глава 3. Типы сверхразума

1. Вернон Виндж, описывая результат, который мог бы получиться, если запустить человеческий мозг с ускоренной скоростью, выбрал термин слабый сверхразум [Vinge 1993].

2. Например, если сверхбыстродействующая система исполняет все, что делает любой человек, — разве что не танцует мазурку, — можем ли мы назвать ее скоростным сверхразумом? Наверное, нас все-таки будут интересовать те основные когнитивные способности, которые имеют значение тактического и стратегического порядка.

3. Если принять во внимание разницу в быстродействии и затратах энергии между процессами, идущими в мозгу человека, и действиями более эффективной системы преобразования информации, скорость можно было бы увеличить как минимум в миллион раз. Скорость света более чем в миллион раз выше скорости передачи сигнала нейронами, синапсы тратят более чем в миллион раз больше тепла, чем это оправданно с точки зрения термодинамики, а частоты, на которых работают современные транзисторы, более чем в миллион раз выше, чем частоты синапсисов, см.: [Yudkowsky 2008 a]; см. также: [Drexler 1992]. Предел скорости сверхразума задается следующими факторами: задержки в высокоскоростных сетях передачи данных; квантовые ограничения на скорость изменения состояний; объем емкости, вмещающей «разум­» [Lloyd 2000]. «Предельный ноутбук», описанный в работе Сета Ллойда, на котором можно было бы проводить эмуляцию мозга, выполнял бы 1,4 ? 10²¹ FLOPS со скоростью 3,8 ? 10²⁹ операций в секунду (при условии, что их можно было бы существенным образом распараллелить) [Lloyd 2000]. Однако расчеты Ллойда не претендуют на абсолютную достоверность­, его задачей было проиллюстрировать ограничения вычислений — ограничения, которые непосредственно вытекают из основных физических законов.

4. Когда речь заходит о полной эмуляции, сразу возникает вопрос, как долго сможет работать имитационная модель головного мозга человека, пока не сойдет с ума и не начнет «ходить по кругу». Совсем не очевидно — даже при условии разнообразия задач и регулярных передышек, — что имитационной модели удастся протянуть тысячи субъективных лет, ни разу не столкнувшись с психологическими проблемами. Кроме того, если из-за предельного количества нейронов объем полной памяти ограничен, то накапливать знания до бесконечности не получится, поэтому, начиная с какой-то точки, имитационной модели мозга, чтобы освободить место для усвоения новой информации, придется начать забывать уже усвоенное. (Думается, что искусственный интеллект можно будет разработать на таких принципах, чтобы постараться избежать таких потенциальных проблем.)

5. Таким образом, для наномеханизмов, двигающихся с довольно скромной скоростью 1 м/с, обычный масштаб времени — это наносекунды; см.: [Drexler 1992] — раздел 2.3.2. Робин Хэнсон отмечает работу роботов-«фей», размером всего 7 мм, двигающихся в 260 раз быстрее привычной нам скорости [Hanson 1994].

6. См.: [Hanson 2012].

7. Термин коллективный интеллект не имеет отношения к распараллеливанию на нижнем уровне аппаратного обеспечения, это понятие целиком лежит в плоскости интеллектуальных автономных агентов, например людей. Если начать проводить одну полную эмуляцию мозга, одновременно используя большое количество сверхмощного оборудования, можно получить скоростной сверхразум, но он не будет коллективным сверхразумом.

8. Улучшение когнитивных возможностей, таких как скорость и качество ума, может лишь косвенно влиять на производительность коллективного разума, но об этих вариантах усовершенствования будет правильнее говорить при обсуждении двух других форм сверх­разума.

9. Считается, что именно рост плотности населения привел к верхнепалеолитической революции (культурная революция кроманьонцев), а после преодоления некой пороговой величины так называемая культурная сложность начала расти очень быстро; см.: [Powell et al. 2009].

10. Кажется, мы забыли упомянуть интернет? Увы, его развитие пока не достигло того масштаба, который требуется для «большого прыжка». Может быть, со временем интернет подтянется. Другим приведенным здесь факторам потребовались века и даже тысячелетия, чтобы раскрыть свой потенциал полностью.

11. Пример, взятый мною, конечно, из области фантастики. Планета — большая настолько, что может вместить семь квадриллионов мегаземлян, — при современном уровне технологий просто взорвалась бы, если не состояла бы из очень легкого вещества или не была бы полой, удерживаясь в таком состоянии давлением или каким-то иным искусственным способом. (Лучшим решением могла бы быть сфера Дайсона, или раковина Дайсона.) На такой огромной поверхности история развивалась бы совсем иначе. Но не будем отклоняться в сторону.