ТЕКСТЫ

   Билл Гейтс прав в одном важном пункте: некоторые области человеческой деятельности придётся защищать от искусственного интеллекта даже тогда, когда машины научатся делать всё лучше нас. Он называет это Human Reserved. По сути, он предлагает создать для человека специальный заповедник внутри будущего мира машин.

   Мне кажется, он неправильно видит масштаб этого заповедника. Человек не окажется маленьким охраняемым видом внутри гигантской машинной экономики. Скорее наоборот: машинная экономика будет делать почти всё необходимое, но именно человеческая экономика может оказаться намного больше по стоимости.

​

1.⁠ ⁠Человеческая экономика станет намного больше машинной

​

   Главное экономическое последствие сверхинтеллекта состоит не в том, что он отнимет у людей работу. Он сделает complexity дешёвой. Сегодня юриспруденция, медицина, инженерия, программирование, финансы, исследования и управление стоят дорого прежде всего потому, что способность разбираться в сложных вещах - редкий ресурс. Сверхинтеллект уничтожит эту редкость. С интеллектом может произойти примерно то же, что уже произошло с сельским хозяйством: производительность вырастет фантастически, а доля этого сектора в экономической стоимости уменьшится. Еда не стала менее важной, она просто стала сравнительно дешёвой.

   Поэтому машинная экономика однажды сможет выполнять большую часть необходимой работы и при этом создавать меньшую часть стоимости. Деньги уйдут туда, где сверхинтеллект не способен уничтожить человеческую уникальность и редкость: в репутацию, внимание, красоту, подлинность, человеческие отношения, статус и достижения, а также в произведения искусства, антиквариат и редкую недвижимость. Так устроен человек. С детской песочницы мы сравниваем себя с другими, соревнуемся, пытаемся выделиться и доказать, что чем-то лучше соседа. Если всё необходимое станет дешёвым, эта потребность никуда не исчезнет, она просто станет ещё важнее для экономики.

   Поэтому Human Only - это не заповедник для устаревших профессий. Наоборот, человеческая экономика может оказаться премиальной частью будущего мира. Сверхинтеллект сделает complexity массовой и дешёвой, а люди продолжат создавать и монетизировать уникальность. Именно на редкости и невозможности масштабирования возникает рента. Старый феодал владел редкой землёй; новый может владеть вниманием, репутацией, аудиторией, доступом, местом или просто собственной человеческой уникальностью, тем, что невозможно скопировать без потери ценности.

​

2.⁠ ⁠Демократия может оказаться несовместимой с миром сверхинтеллекта

​

   Главная политическая проблема не в том, что сверхинтеллект окажется умнее избирателя. Проблема в другом: неограниченный доступ к сверхинтеллекту может оказаться несовместим с выживанием человечества. Если система способна проектировать новые патогены и оружие, взламывать инфраструктуру, управлять автономными машинами и придумывать стратегии, недоступные лучшим человеческим специалистам, её невозможно будет раздать всем желающим просто потому, что равный доступ кажется справедливым.

   Мощный AI, вероятно, будет доступен каждому. Полный доступ к сверхинтеллекту - почти наверняка нет. А значит, кто-то будет решать, кому разрешено задавать самые опасные вопросы и ставить самые серьёзные задачи. Возможно, этих людей будут выбирать. Возможно, назначать. А может быть, будущая элита будет формироваться через своего рода олимпиады, соревнования тех, кто лучше других умеет формулировать вопросы для сверхинтеллекта и понимать последствия его ответов. Мы пока не знаем форму этой системы, но функционально возникает новое жречество: небольшая каста посредников между человечеством и интеллектом, к которому большинство людей не имеет прямого доступа. Средневековый жрец утверждал, что разговаривает с Богом. У будущего жречества будет одно преимущество: его Бог действительно будет отвечать.

   Единый мировой сверхинтеллект, возможно, был бы безопаснее нескольких конкурирующих систем, но политически такой вариант сегодня почти невозможно представить. США вряд ли добровольно передадут свой главный стратегический ресурс мировому правительству. Китай - тем более. И ни одна сторона не сможет остановить разработку, пока существует риск, что другая продолжает. Поэтому реалистичнее мир нескольких конкурирующих сверхинтеллектов: американского, китайского и, возможно, ещё нескольких, каждый со своей закрытой кастой доступа.

​

3.⁠ ⁠Сверхинтеллект придётся национализировать - и это может сделать человеческую экономику свободнее

​

   Настоящий сверхинтеллект вряд ли сможет долго оставаться обычной частной собственностью. Компания может его создать, основатель - профинансировать, инвесторы - владеть акциями. Но если система становится стратегически важнее ядерного арсенала и способна производить больше нового знания, чем вся мировая наука, обычные представления о собственности начинают выглядеть странно. В какой-то момент основатель компании вполне может обнаружить, что государство больше не позволяет даже ему самому бесконтрольно пользоваться системой, которую он создал.

   Причина не только в безопасности. Представим, что частный сверхинтеллект начинает открывать новые лекарства, новые источники энергии, новые материалы и технологии, меняющие жизнь миллиардов людей. Очень трудно представить общество, которое согласится бесконечно платить одной корпорации монопольную ренту за доступ к универсальной машине научных открытий. Значительная часть этих знаний неизбежно начнёт восприниматься как общественная инфраструктура. Можно назвать происходящее особым регулированием, режимом национальной безопасности или чем угодно ещё. По существу это будет означать национализацию сверхинтеллекта.

   Но национализация сверхинтеллекта вовсе не означает национализацию всей экономики. Возможно, наоборот. Если государство или специальный институт контролирует единственный действительно опасный и системообразующий ресурс, огромная Human Only экономика вокруг него сможет стать гораздо более частной, конкурентной и в каких-то областях даже менее регулируемой, чем экономика сегодня. В центре находится жёстко контролируемая машина. Вокруг находятся люди, свободно соревнующиеся за всё то, что для них на самом деле важно: идеи, репутацию, красоту, статус, отношения, достижения и признание.

   В этом и состоит парадокс, который, на мой взгляд, Билл Гейтс пока не доводит до конца. Сверхинтеллект может выполнять большую часть работы, а люди - создавать большую часть стоимости. Он может заставить нас отказаться от привычного понимания демократии там, где речь идёт о доступе к опаснейшему интеллекту, и одновременно сделать обычную человеческую жизнь более частной и более свободной.

   Сверхинтеллект делает complexity дешёвой. Люди продолжают делать человеческую уникальность дорогой.

   И, возможно, именно поэтому мир сверхинтеллекта окажется гораздо более человеческим, чем мы сегодня предполагаем.