На краю пропасти. Экзистенциальный риск и будущее человечества

 460 
Существует несколько ключевых проблем управления рисками. Во-первых, ученые, как правило, применяют свой эпистемологический стандарт высокой уверенности в том, что катастрофы не случится, при условии что их базовые научные теории и модели верны, а не анализируют, что стоит на кону, и не проверяют, как такие теории и модели вели себя в прошлом (Ord, Hillerbrand & Sandberg, 2010).
Во-вторых, ученые, как правило, принимают решения в одиночку. Хотя они настоящие эксперты в соответствующих вопросах, им не хватает важного опыта анализа рисков и оценки ставок. Это также приводит к возникновению различных систематических ошибок и конфликтов интересов, когда те люди, чья работа (как и работа их коллег) зависит от выносимого вердикта, сами выносят этот вердикт. Это противоречит общепринятым нормам, в соответствии с которыми при определении того, стоит ли действовать определенным образом, нужно учитывать мнение людей, которые в результате подвергнутся угрозе (о которой идет речь).
Чтобы улучшить ситуацию, можно создать международный орган (например, в рамках ООН), который рассматривал бы эти вопросы, нанять людей, ответственных за сбор лучших аргументов за и против, и назначить сведущего в науке судью для вынесения вердикта о том, можно ли проводить эксперимент в текущий момент, или же его следует отложить до тех пор, пока не найдутся более весомые доводы в его пользу. Я подозреваю, что лишь немногие эксперименты были бы запрещены. (Такая модель могла бы работать, даже если бы вердикты не имели официальной силы.)
 461 
Ядерное оружие не вошло бы в список, поскольку механизм радиоактивного распада был открыт только в 1938 году. Туда бы также не вошли пандемии искусственного происхождения, так как первая демонстрация генной инженерии состоялась в 1960-х годах. Компьютеры еще не были изобретены, а идею об искусственном интеллекте и сопряженных с ним рисках ученые стали всерьез обсуждать лишь в 1950-х годах. Гипотеза о вероятности антропогенного глобального потепления восходит к 1896 году, но поддержку она получила только в 1960-х годах, а статус общепринятого риска приобрела в 1980 х.
Американский правительственный доклад о будущем технологий, подготовленный в 1937 году, служит прекрасным примером того, насколько трудно осуществлять прогнозирование (Ogburn, 1937; Thomas, 2001). В нем не упоминаются ни атомная энергия, ни антибиотики, ни реактивные самолеты, ни транзисторы, ни компьютеры, ни какие либо вопросы, связанные с космосом.
 462 
Bostrom (2013; 2018).
 463 
Einstein & New York Times (1946).
 464 
По данным онлайн-анкетирования, проведенного пользователем GitHub под ником Zonination (Zonina-tion, 2017). Эти результаты во многом совпадают с результатами эксперимента, проведенного ЦРУ над офицерами разведки (Heuer, 1999).
 465 
В связи с этим возникают трудности с использованием фразы “крайне маловероятно, что случится X” в качестве аргумента, поскольку необходимо уделять больше внимания X. Ситуация была бы иной, если бы фраза “крайне маловероятно” соответствовала диапазону вероятности, например от 1 к 10 до 1 к 100, поскольку на эти цифры легко ссылаться, утверждая, что риск необходимо принимать всерьез. Из-за этого проблемы возникают у МГЭИК, которая в своих отчетах использует не численные вероятности, а подобные фразы.
 466 
Pinker (2018), p. 295; перевод Г. Бородиной и С. Кузнецовой.
 467 
Еще одна причина, по которой некоторые предпочитают не называть цифры, состоит в том, что им не хочется быть пойманными на слове, а словесные описания допускают расплывчатость. Мне же нравится называть точные цифры, раскрывать карты и давать другим возможность найти пути для улучшения ситуации. Только прозрачность и готовность признать ложность своих выводов позволяют нам расти в интеллектуальном отношении.
 
 468 
Моя оценка в 1 к 10 000 на век эквивалентна ожидаемой продолжительности жизни в 1 млн лет. Хотя я полагаю, что летопись массовых вымираний, вполне возможно, дает нам истинную частоту вымираний, около одного в 100 млн лет, я также считаю, что лучше ориентироваться на типичную продолжительность существования видов, а это сильно увеличивает средние показатели. Не забывайте, что палеонтологическая летопись надежна лишь при изучении природных рисков вымирания, но не других типов экзистенциального риска. Здесь я предполагаю, что их уровень примерно совпадает с уровнем рисков вымирания, поскольку это в общих чертах соответствует реальности для рисков, которые мы рассмотрели подробно, но неопределенности с ними больше.
 469 
Это аналогично Байесовскому выводу, согласно которому гипотеза становится отправной точкой и корректируется по мере получения новых данных. В нашем случае я предлагаю начинать с нестрогой априорной вероятности, определенной на основе базовых норм и других факторов, учитываемых при расчете лучшей оценки, пока не появятся объективные данные (если они появятся вообще). Я не вижу веских доводов в пользу того, чтобы начинать с априорной вероятности, очень близкой к нулю.
 470 
Как мои оценки выглядят в сравнении с другими? Эти риски редко получают серьезные оценки от ученых, которые уделяют им пристальное внимание. К счастью, несколько пионеров исследования экзистенциального риска назвали свои цифры. Джон Лесли (1996, pp. 146–147) оценил риск в последующие пять столетий в 30 % (после чего, по его мнению, нам очень повезет, если мы сохраним возможность реализовать свой потенциал). Ник Бустрём (2002b) высказался об общем экзистенциальном риске в долгосрочной перспективе: “На мой субъективный взгляд, ошибкой будет присвоить ему вероятность менее 25 %, а лучшая оценка может быть и существенно выше”. Мартин Рис (2003) оценил вероятность глобального (хотя, возможно, временного) коллапса цивилизации в XXI веке в 50 % (в книге нет точных указаний на масштаб оцениваемой катастрофы, но позже Рис пояснил, что имел в виду коллапс цивилизации). Мои оценки сопоставимы с этими.
Кроме того, показательную оценку вероятности вымирания в последующие 100 лет дал Карл Саган – 60 % (Sagan, 1980, p. 314; Sagan et al., 1980). Интересно, что он назвал эту цифру в 1980 году, еще до открытия ядерной зимы и до написания своей знаковой работы о том, насколько плохо вымирание человечества. Неясно, однако, насколько взвешенной была эта оценка. Она дана без комментариев в перечне ключевых статистических данных о Земле, которые могли бы попасть в гипотетическую “Галактическую энциклопедию”.
 471 
Другая проблема с оценками, основанными на допущении, что жизнь пойдет в привычном режиме, состоит в том, что сложно описать, что именно это значит: какую реакцию человечества нам следует считать базовой? Хотя оценить риск с учетом всех обстоятельств очень сложно, вполне понятно, что в него вкладывается, – это просто степень уверенности человека в том, что катастрофа произойдет.
 472 
Cotton-Barratt, Daniel & Sandberg (готовится к публикации).
 473 
Более точное правило предписывает анализировать более мелкие шаги, например искать фактор, который легче всего уменьшить на 1 % от текущего уровня. Затем предполагается применять это правило снова и снова, работая над одним фактором, фактором, который легче всего уменьшить на 1 %, не станет другой – и тогда нужно переключиться на него. Если работа над каждым из факторов приносит достаточный убывающий добавочный доход, а бюджет достаточно велик, в итоге проработанными могут оказаться все три фактора.