На краю пропасти. Экзистенциальный риск и будущее человечества

Чрезвычайно сложно оценить вероятность перерастания Карибского кризиса в ядерную войну[59]. Вскоре после него Кеннеди сказал одному из ближайших советников, что, по его мнению, шансы завершения кризиса ядерной войной с СССР были “примерно в диапазоне от одного к трем до равных”[60]. Недавно стало известно, что в день окончания кризиса Пол Нитце (член военного совета Кеннеди) оценил вероятность в 10 % и счел, что остальные члены совета назвали бы еще более высокую цифру[61]. Более того, никто из этих людей не знал о тактическом ядерном оружии на Кубе, о том, что Хрущев не контролировал свои войска, а также о произошедшем на подводной лодке Б-59.
Хотя мне не хочется сомневаться в тех, чьи решения вполне могли привести к началу войны, лично я полагаю, что они были настроены чересчур пессимистично, учитывая, что им было известно в то время. Тем не менее, если добавить к их сведениям обнародованную позже информацию о том, что на самом деле происходило на Кубе, мои оценки примерно совпадут с их мнением. Я бы сказал, что вероятность эскалации кризиса в ядерную войну с СССР составляла примерно 10–50 %[62].
Когда пишешь о таких критических ситуациях, возникает соблазн приравнять их вероятность к вероятности краха цивилизации или уничтожения человечества. Но это было бы большим и ненужным преувеличением. Нам следует сочетать вероятность начала ядерной войны с вероятностью, что такая война приведет к уничтожению человечества или человеческой цивилизации, чего может и не произойти. И все же даже с такими оговорками Карибский кризис остается одним из поворотных моментов в двухсоттысячелетней истории человечества и, возможно, той точкой, когда мы сильнее всего рисковали потерять вообще всё.
Даже теперь, когда холодная война осталась в прошлом, ядерное оружие по-прежнему представляет опасность для человечества. На момент написания этой книги вероятнее всего, пожалуй, ядерный конфликт с участием КНДР. Но не все ядерные войны одинаковы. Количество ядерных боеголовок в арсенале КНДР составляет менее 1 % от запасов России или США, и сами боеголовки значительно меньше. Ядерная война с КДНР стала бы ужасной катастрофой, но в настоящее время она не слишком угрожает долгосрочному будущему человечества[63].
Основной экзистенциальный риск от ядерного оружия сегодня, вероятно, по-прежнему связан с огромными арсеналами России и США. Разработка МБР (межконтинентальных баллистических ракет) дала каждой из сторон возможность уничтожить большую часть ракет противника, потратив лишь тридцать минут на подготовку, и поэтому обе стороны перевели многие ракеты в “состояние повышенной готовности”, благодаря чему их можно запускать всего за десять минут[64]. При таком уровне готовности ракеты очень легко запустить случайно или намеренно при ложной тревоге. Как мы увидим в четвертой главе, леденящий душу список ложных тревог продолжает пополняться и по завершении холодной войны. В более длительной перспективе также существует риск, что другие страны создадут собственные огромные арсеналы, что инновации в военных технологиях подорвут логику сдерживания путем устрашения и что сдвиги в геополитической сфере приведут к началу новой гонки вооружения с участием крупных держав.
Человечеству угрожает не только ядерное оружие. Наше внимание направлено именно на него, поскольку оно стало первым серьезным риском и уже грозило человечеству. Но есть и другие риски.
Экспоненциальное повышение благосостояния, которое подтолкнула промышленная революция, сопровождалось стремительным ростом объема выбросов углекислого газа. Незначительный побочный эффект индустриализации в конце концов вылился в глобальную угрозу здоровью, окружающей среде, международной стабильности и, возможно, даже всему человечеству.
Ядерное оружие и изменение климата имеют поразительные сходства и различия. В обоих случаях человечеству грозят существенные сдвиги в температуре Земли, но эти сдвиги направлены в разные стороны. Один из них – результат непредсказуемого научного прорыва, другой – продолжение векового развития старых технологий. Один связан с малым риском внезапной и резкой катастрофы, другой предполагает длительный, постепенный процесс с отложенным началом, где катастрофа в некоторых масштабах неизбежна и неясно только, насколько серьезной она будет. Один сопряжен с секретной военной технологией, контролируемой горсткой могущественных людей, другой – с совокупностью малых воздействий на мир со стороны каждого из его обитателей.
 
Технологии продолжают развиваться, и на горизонте возникают новые угрозы. Эти угрозы, вероятно, будут похожи скорее на ядерное оружие, чем на изменение климата: они будут возникать из-за неожиданных прорывов, приводить к резким катастрофам и связываться с действиями небольшого числа лиц. Меня особенно заботят две зарождающиеся технологии, которым будет посвящена пятая глава.
С самой неолитической революции мы меняли геном растений и животных, чтобы удовлетворять свои нужды. Но открытие генетического кода и создание инструментов, позволяющих читать и переписывать его, привело к резкому расширению нашей способности перестраивать жизнь с новыми целями. Внедрение биотехнологий приведет к значительному прогрессу в медицине, промышленности и сельском хозяйстве. Но возникнут и риски для цивилизации и самого человечества, и их источниками будут как случайности, которые могут произойти при санкционированных исследованиях, так и возможность создания биологического оружия.
Мы также наблюдаем стремительное расширение способностей систем искусственного интеллекта (ИИ), причем самый серьезный прогресс наблюдается в тех областях, где ИИ традиционно был слабее всего, таких как восприятие, обучение и общий интеллект. Специалисты полагают, что в этом столетии человеческие способности превзойдет не только узкий ИИ, но и общий, то есть умеющий преодолевать разнообразные препятствия для достижения поставленных целей. Человечество смогло обрести контроль над миром именно благодаря своим непревзойденным умственным способностям. Если мы уступим пальму первенства машинам, именно они в итоге займут наше уникальное положение. Это должно заставить нас задуматься, почему именно человечество и дальше будет править миром. Нам нужно научиться соотносить цели все более умных и автономных машин с интересами человечества, и сделать это необходимо прежде, чем такие машины станут сильнее нас.
Эти угрозы человечеству и наши ответы на них определяют наше время. Появление ядерного оружия создало реальный риск уничтожения человечества в XX веке. Технологии развиваются все быстрее, а серьезных усилий для защиты человечества не прикладывается, поэтому есть все основания полагать, что в текущем столетии риск станет еще выше и будет расти с каждым веком, пока продолжается технический прогресс. Поскольку такие антропогенные риски превосходят все природные риски, вместе взятые, именно они определяют, сколько у человечества времени, чтобы отойти от края пропасти.
Я не утверждаю, что вымирание – это неизбежный итог научного прогресса или даже самый вероятный его результат. Я утверждаю, что человечество становится все могущественнее и уже достигло той точки, когда само создает серьезную угрозу собственному существованию. Нам решать, как мы будем работать с этим риском.
Я не призываю и к отказу от технологий. Технологиям принадлежит огромная заслуга в улучшении благосостояния человечества. Кроме того, без технологий человечество не сумеет раскрыть свой потенциал в долгосрочной перспективе. В отсутствие технологий мы были бы обречены из-за совокупного риска таких природных катастроф, как падение астероидов. В отсутствие технологий мы никогда не придем к истинному процветанию, хотя мы могли бы его достичь.
Проблема не столько в переизбытке технологий, сколько в недостатке мудрости[65]. Особенно хорошо об этом сказал Карл Саган: