- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
практически неэффективно, однако около 2 % выделяются из общего ряда. Мы уже говорили, что Тетлок называет таких людей суперпредсказателями. Нельзя утверждать, что их прогнозы абсолютно безошибочны, однако их верные оценки – далеко не просто везение. Примечательно, что один правительственный чиновник заявил: «группа Тетлока в сред-
нем достигает куда лучших результатов281, чем аналитики разведывательных служб, располагающие данными радиоперехвата и иной конфиденциальной информацией». Это сравнение заставляет задуматься. Аналитики разведслужб обучены выдавать точные прогнозы; это не какие-то любители. Кроме того, они имеют доступ к секретной информации и все же не могут приблизиться к результатам суперпредсказателей.
Вечная бета-версия
С чем связан успех суперпредсказателей? Вспомним аргументы, приведенные в главе 18. Мы имеем основания полагать, что подобные люди отличаются необычайными умственными способностями, и это соображение неошибочно. При прохождении тестов на GMA суперпредсказатели показывают результаты лучше, чем среднестатистический волонтер из проекта «Верное суждение» (а средний уровень такого волонтера выше, чем в среднем по США). В то же время разница не слишком существенна, и многие участники экспери-
мента, показавшие чрезвычайно хороший уровень во время тестирования, суперпредсказателями не стали. Помимо общего уровня интеллекта, мы также вправе ожидать, что суперпредсказатели являются исключительно хорошими математиками. Так оно и есть на самом деле. Однако главным их преимуществом являются вовсе не способности к математике, а та легкость, с которой наши герои включают аналитическое и вероятностное мышление.
Задумайтесь о готовности и способности суперпредсказателей структурировать задачу и разложить ее на отдельные элементы. Вместо того чтобы сразу сформулировать окончательное суждение по серьезному геополитическому вопросу (например, примет ли нация решение о выходе из Евросоюза, начнутся ли военные действия в определенной точке земного шара, состоится ли покушение на жизнь известного общественного деятеля), они разбивают вопрос на несколько компонентов. Мыслят суперпредсказатели следующим образом: «При каких условиях ответ будет утвердительным или отрицательным?» Суперпредсказатель не станет полагаться на интуицию или прозрение; он задаст себе несколько дополнительных вопросов и попытается найти на них ответы.
Суперпредсказатели превосходят обычных людей в способности смотреть со стороны и учитывать априорную вероятность. Как мы уже поясняли в отношении вопроса о Гамбарди в главе 13, прежде чем сосредоточиться на особенностях его случая, полезно было бы изучить данные о ве-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
роятности увольнения или ухода по собственному желанию среднестатистического наемного директора компании в течение двухлетнего периода. Суперпредсказатель систематически сверяется с априорной вероятностью. Если его спросят, случится ли в следующем году вооруженный конфликт между Китаем и Вьетнамом в связи с непримиримыми разногласиями, суперпредсказатель не станет зацикливаться на текущих отношениях между этими странами. Да, возможно, он читал новости и аналитику по данному вопросу и у него уже наготове интуитивный ответ, однако наш герой знает, что обычно интуиция – не лучший советчик. Поэтому он поищет информацию о том, как часто серьезные разногласия между странами выливались в вооруженные столкновения. Если войны случались крайне редко, суперпредсказатель встроит этот факт в свои рассуждения и лишь потом обратится к анализу текущей ситуации.
Проще говоря, суперпредсказателя отличает от его коллег не только чистый интеллект, но и способ его задействования. Умения, которыми владеет и успешно применяет наш герой, говорят о его когнитивном стиле, который, как мы рассказывали в главе 18, вероятно, послужит причиной для лучшего суждения, особенно если человек обладает активным открытым мышлением. Помните тест из главы 18? Он включает такие утверждения, как «Человек должен принимать во внимание истины, противоречащие его собственным убеждениям» и «Полезнее прислушиваться к людям, кото-
рые с тобой не согласны, нежели к тем, кто поддерживает твою точку зрения». Понятно, что человек, который наберет высокий балл по итогам подобного теста, не стесняется корректировать свои суждения (не доходя до абсурда), если ему становится доступна новая информация.
Характеризуя стиль мышления суперпредсказателей, Тетлок использует выражение «вечная бета-версия», которое частенько встречается в сленге программистов. Обычно так говорят о программе, которую уже не планируют выпускать в следующей версии. Вместо этого ее бесконечно используют, анализируют и совершенствуют. Тетлок выяснил, что
«сильнейшим сигналом282, свидетельствующим о том, что человек станет суперпредсказателем, является как раз такая встроенная «вечная бета-версия», определяющая степень готовности к самосовершенствованию и корректировке собственных убеждений». Тетлок говорит: «Что делает его настолько сильным? Не то, кем он является, а то, как он работает: усердно исследует, тщательно думает и ничего не имеет против самокритики, запоминает и анализирует другие точки зрения, детализирует свои суждения и не стесняется их обновлять». Суперпредсказатель любит мыслить циклически. Его кредо: пытаться, терпеть неудачи, анализиро-
вать283, корректировать и снова пытаться.
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/