- •Препринт
- •Часть 1. Общие обзоры темы 6
- •Часть 2. Оценка вероятности глобальной катастрофы 201
- •Часть 3. Глобальные риски и новые технологии 374
- •Часть 4. Глобальные риски, связанные с природными катастрофами 545
- •Предисловие
- •Часть 1. Общие обзоры темы глобальных рисков Билл Джой. Почему мы не нужны будущему
- •Вернор Виндж. Технологическая Сингулярность
- •Ник Бостром. Угрозы существованию: Анализ сценариев человеческого вымирания и других подобных опасностей.
- •Введение
- •Типология рисков
- •Риски существованию
- •Уникальность проблемы угроз существованию
- •4. Классификация рисков существованию
- •5. Взрывы
- •5.1. Преднамеренное злоупотребление нанотехнологиями
- •5.2. Ядерный холокост
- •5.3. Мы живем в симуляции, и она выключается
- •5.5. Генетически сконструированный биологический объект
- •5.6. Ошибочное применение опасных нанотехнологий («серая слизь»).
- •5.7. Нечто непредвиденное
- •5.8. Катастрофы в результате физических экспериментов
- •5.9. Естественно возникшее заболевание
- •5.10. Столкновение с астероидом или кометой
- •5.11. Неудержимое глобальное потепление
- •6. Сужения
- •6.1. Истощение ресурсов или разрушение экологии
- •6.2. Сбившееся с курса мировое правительство или другое неподвижное социальное равновесие остановит технологический прогресс
- •6.3. Давление «вырождения»
- •6.4. Технологическая остановка
- •7. Скрипы
- •7.2. Сверхинтеллект с ошибкой
- •7.3. Глобальный репрессивный тоталитарный режим
- •7.4. Нечто непредвиденное1
- •8. Всхлипы
- •8.1. Наш потенциал и даже наши базовые ценности разъедаются развитием в ходе эволюции
- •8.2 Уничтожение внеземной цивилизацией
- •9.2 Парадокс Ферми
- •9.3 Эффекты наблюдательной селекции
- •9.4 Рассуждение о Симуляции
- •9.5 Когнитивные искажения
- •9.6 Оценка собранных данных
- •10. Рекомендации, касающиеся стратегии и этики
- •10.1. Поднимать известность проблемы рисков существованию
- •10.2 Создать структуру для международных действий
- •10.3 Сохранять готовность к превентивному действию в качестве последнего средства
- •10.4 Регулирование скорости развития технологий
- •10.5 Программы, направленные на прямое уменьшение конкретных угроз существованию
- •10.6. Максипок: эмпирическое правило для этичных поступков
- •Выражения признательности
- •Приложение: очерк эволюционного «всхлипа»
- •Библиография
- •Елиезер Юдковски. Когнитивные искажения, влияющие на оценку глобальных рисков
- •Введение
- •1. Доступность информации
- •2. Когнитивные искажения, связанная со знанием «задним числом».
- •3. Черные лебеди
- •4. Ошибочное включение лишнего элемента
- •5. Ошибочность рассуждений, вызванная эффектом подтверждения
- •6. Якорение, настройка и загрязнение
- •7. Рассуждения, обусловленные аффектом
- •8. Пренебрежение масштабом
- •9. Калибровка и сверхуверенность
- •10. Апатия прохожего
- •Последнее предупреждение
- •Заключение
- •Рекомендуемое чтение
- •Библиография
- •Дэвид Брин. Сингулярность и кошмары
- •А.А. Кононов.Идеологические начала общей теории неуничтожимости человечества
- •Угрозы уничтожения человечества
- •Неуничтожимость как главная сверхзадача цивилизации
- •Качества неуничтожимой цивилизации
- •О необходимости разработки теоретических основ решения задач неуничтожимости человечества
- •Робин Хансен. Катастрофа, социальный коллапс и человеческое вымирание
- •Алексей Турчин. Процессы с положительной обратной связью как основной механизм глобальных катастроф
- •Часть 2. Оценка вероятности глобальной катастрофы Ник Бостром1, Макс Тегмарк2. Насколько невероятна катастрофа судного дня?
- •Ник Бостром. Рассуждение о Конце Света для начинающих
- •Ник Бостром. Doomsday Argument жив и брыкается
- •Ник Бостром Доказательство симуляции
- •1.Введение
- •2. Предположение о независимости от носителя
- •3.Технологические пределы вычислений
- •4. Ядро доказательства о симуляции
- •5. Мягкий принцип равнозначности
- •6. Интепретация
- •7. Заключение
- •Введение: угрозы существованию и эффекты наблюдательной селекции
- •«Карманная» модель антропного искажения1
- •Обобщение модели
- •Антропное искажение: недооценка естественных угроз
- •Какие угрозы существованию подвержены антропной тени?
- •Антропные тени и риски физических экспериментов
- •Заключение
- •Приложение: словарь
- •Благодарности
- •Алексей Турчин. Природные катастрофы и антропный принцип
- •Введение
- •1. Антропный принцип. Эффект наблюдательной селекции. Результаты Бострома и Тегмарка
- •2. Природные катастрофы
- •3. Применение антропного принципа для анализа частоты природных катастроф
- •4. Нарушение устойчивости природных систем, находящихся на грани равновесия, в связи с человеческой деятельностью
- •5. Быстрая эволюция разума в периоды высокой интенсивности природных катастроф
- •6. Заключение
- •Приложение a. Плотность наблюдателей во вселенной, частота катастроф и антропный принцип
- •Литература:
- •Тоби Орд, Рафаела Хиллербранд, Андрес Сандберг. Проверяя непроверяемое: методологические вызовы в оценке рисков с низкой вероятностью и высокими ставками
- •Введение
- •Оценка вероятностей
- •3. Теории, модели и вычисления
- •4. Применение нашего анализа к рискам экспериментов на ускорителях
- •5. Заключение
- •Эдриан Кент. Критический обзор оценок рисков глобальных катастроф
- •Часть 3. Глобальные риски и новые технологии Eлиезер Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска
- •1. Систематическая ошибка, связанная с антропоморфизмом
- •1.1: Широта пространства возможных устройств ума
- •2: Предсказание и устройство
- •4: Способности и мотивы
- •4.1: Процессы оптимизации
- •4.2: Наведение на цель
- •5: Дружественный ии
- •6: Техническая неудача и философская неудача
- •6.1: Пример философской ошибки
- •6.2: Пример технической неудачи
- •7: Темпы усиления интеллекта
- •8: Оборудование
- •9: Угрозы и перспективы
- •10: Локальные стратегии и стратегии большинства
- •11: Ии и усиление человеческого интеллекта
- •12: Взаимодействие ии и других технологий
- •13: Ход прогресса в области Дружественного ии
- •Роберт Фрейтас. Проблема Серой Слизи
- •Crn. Опасности молекулярного производства
- •М. Вассер, р.Фрайтас. Проект «Нанощит»
- •Алексей Карнаухов. Парниковая катастрофа.
- •Милан Чиркович, Ричард Каткарт. Гео-инженерия, пошедшая насмарку: новое частное решение парадокса Ферми
- •1. Введение
- •2. Макроинженерия и сценарий катастрофы
- •3. Миссия к центру Земли
- •4.Начало процесса вымирания
- •5.Применение сказанного к проблемам астробиологии
- •6. Культурологические и климатологические аспекты
- •7.Заключение
- •Ричард Керригэн. Следует ли обеззараживать сигналы seti?
- •А.В.Турчин. Глобальные риски, связанные с программой seti
- •1. История вопроса
- •2. Сценарий возможной атаки
- •3. Анализ возможных целей атаки
- •4. Возражения
- •П.Д. Смит. Кобальтовая бомба (отрывок из книги «Люди судного дня»)
- •Часть 4. Глобальные риски, связанные с природными катастрофами Владислав Пустынский. Последствия падения на Землю крупных астероидов
- •Уильям Нейпьер. Опасность комет и астероидов
- •1. Нечто вроде огромной горы
- •2.Как часто по нам бьют?
- •2.1 Ударные кратеры
- •2.2. Поиск околоземных объектов
- •2.3. Динамический анализ
- •3. Эффекты столкновения
- •4. Роль пыли
- •5. Наземная проверка?
- •6. Неопределённости
- •Майкл Рампино. Супервулканизм и другие катастрофические геофизические процессы
- •3. Вулканическая зима
- •4. Возможные последствия сверхизвержения для окружающей среды
- •5. Сверх-извержения и человеческая популяция
- •6. Частота сверхизвержений
- •7. Влияние сверхизвержения на цивилизацию
- •8. Сверхизвержения и жизнь во Вселенной
- •Арнон Дар. Влияние сверхновых, гамма-всплесков, солнечных вспышек и космических лучей на земную окружающую среду
- •1. Введение
- •2. Радиационные угрозы
- •2.1 Достоверные угрозы
- •2.2. Солнечные вспышки
- •2.3. Солнечная активность и глобальное потепление
- •2.4 Вымирание в результате солнечной активности
- •2.5 Излучение от взрывов сверхновых
- •2.6 Гамма-всплески
- •3. Угрозы от космических лучей.
- •3.1 Изменения магнитного поля Земли
- •3.2 Солнечная активность, космические лучи и глобальное потепление
- •3.3 Прохождение через галактические спиральные рукава
- •3.4 Космические лучи от недалёкой сверхновой
- •3.5. Космические лучи от гамма-всплесков.
- •4. Причины крупнейших массовых вымираний
- •5. Парадокс Ферми и массовые вымирания
Обобщение модели
Как можно обобщить эту карманную модель единичного события для серии катастроф? Мы должны начерно описать один из возможных подходов. Допустим, мы столкнулись в ситуацией из Рис. 3.
Рис. 3. Ряд потенциально летальных бедствий из прошлого наблюдателей – обобщение показанной в Рис. 1. ситуации.
Обозначим α априорную вероятность катастрофы, а β – вероятность того, что она приведёт к окончательному вымиранию жизни на Земле (в деталях это рассмотрено в пятой части статьи), и N – количество возможных катастроф. Пусть O обозначает факт существование наблюдателя (то есть что катастрофа не привела к окончательному вымиранию) и k – количество наблюдаемых катастроф. Пока N и α невелики1, вероятность того, что наблюдатель обнаружит k катастроф в своём прошлом, рассчитывается по формуле:
. |
(7) |
Допуская равномерное априорное распределение этих параметров, , можно вычислить :
, |
(8) |
Что даёт общую формулу:
, |
(9) |
Следовательно, вероятность существования наблюдателя для значений α, β рассчитывается так:
, |
(10) |
Если рассматривать ансамбль возможных миров это означает плотность наблюдателей. Мы можем предположить, что существуют ряд землеподобных планет со следующими характеристиками: точно определённый возраст, наличие биосферы, но подверженных различным количественными и качественными угрозами [12]. Например, при N=4, уравнение (10) вычисляет вероятность выживания, далее показанную на Рис. 4. При k=0 у нас нет информации об опасности бедствия, таким образом, распределение вероятностей постоянно по отношению к оси β. Для больших значений k уменьшается вероятностная мера высоких β, так как катастрофы становятся достаточно обычными и потому не могут быть слишком тяжёлыми. Для частного случая, N=4, k=2, на Рис. 5. мы показали распределение вероятностей для значений (α, β). Похоже выглядят случаи и с большими значениями N.
Рис. 4. Вероятность наблюдателей P(O|α,β) для N=4 карманной модели в качестве функции априорной вероятности глобальной катастрофы α и вероятности вымирания β. Для α=β=0 мир безопасен и плотность максимальна; количество наблюдателей уменьшается при повышении значений любого из этих параметров.
Рис. 5. Вероятность P(α, β | O, k) при N=4, k=2.
Следующим шагом по этому направлению будет разработка имитационной модели, генерирующей большое количество планет для каждого α, β и запуск N экспериментов, где с каждым миром может случиться катастрофа. Подобное имитационное моделирование было проведено и количественные данные будут показаны в следующей статье. Уже понятно, что распределения параметров между выжившими будут сильно предвзятыми. Учитывая, что нами уже накоплены знания эмпирических и частично-эмпирических вероятностей об определённых классах угроз и огромную прикладную важность поиска любого типа искажения в анализе угроз [13], как только мы определим, какие именно разделы знания подвержены антропному искажению, потребуется провести значительное количество исследований этой сферы.