- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
дификации оценки на основе реакций и пояснений других участников. Консенсусом будет считаться среднее значение индивидуальных суждений, сложившихся в ходе второго раунда.
Проект «Верное суждение»
Некоторые наиболее инновационные исследования качества прогнозирования, выходящие за рамки рассказанного нами выше, начались в 2011 году, когда три выдающихся ученых-бихевиориста основали проект «Верное суждение». С Филипом Тетлоком мы уже познакомились в главе 11, обсуждая оценку долгосрочных прогнозов политических событий. Помимо Тетлока в группу вошла его супруга Барбара Меллерс, а также Дон Мур. Ученые поставили перед собой цель улучшить наше понимание природы прогнозирования и, в частности, причин появления хороших прогнозистов.
Проект «Верное суждение» начался с набора десятков тысяч добровольцев, не являющихся специалистами или экспертами, – самых обычных людей из самых разных слоев общества. Каждого из них попросили ответить на сотню примерно таких вопросов:
Испытает ли Северная Корея ядерное оружие до конца текущего года?
Аннексирует ли Россия какие-либо украинские терри-
тории в течение следующих трех месяцев?
Станут ли Индия или Бразилия постоянными членами Совета Безопасности ООН в течение следующих двух лет?
Выйдет ли в следующем году какая-либо страна из еврозоны?
Как видно из данных вопросов, проект сосредоточен на широком спектре мировых проблем. Важно отметить, что подобные вопросы отражают ту повестку, которая тревожит аналитиков во всем мире. Спросим адвоката: есть ли перспектива у его клиента выиграть дело в суде? Узнáем у специалистов телестудии, каковы шансы на популярность у нового телешоу. В обоих случаях нашему собеседнику потребуются аналитические способности. Тетлок с коллегами решили выяснить, действительно ли среди нас есть люди, которых можно считать особенно хорошими прогнозистами. Также ученые хотели понять, можно ли научить человека навыкам прогнозирования или хотя бы развить его врожденные способности.
Смысл основных выводов проекта станет ясен, если мы расскажем о некоторых ключевых особенностях метода, применяемого Тетлоком в целях оценки способностей к прогнозированию.
Во-первых, ученые собрали большое количество прогнозов, не ограничившись одним или несколькими, которым могла способствовать самая обычная удача либо, напротив,
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
невезение. Если вы предсказали, что ваша любимая команда выиграет следующий матч и она действительно побеждает соперника – это еще не значит, что вы действительно хороший прогнозист. А если вы каждый раз даете прогноз в пользу любимой команды? Если ваша стратегия именно такова и команда побеждает в половине случаев, нельзя сказать, что ваши способности к прогнозу впечатляют. Следует отфильтровать фактор везения, поэтому исследователи и проверяют среднюю точность прогноза каждого участника эксперимента в пределах широкого спектра событий.
Во-вторых, ученые просят участников дать вероятностный прогноз, который не ограничивается ответом «случится» или «не случится». Для многих прогнозирование как раз и заключается в выборе одного из этих двух вариантов. В то же время, учитывая нашу объективную неосведомленность о наступлении событий в будущем, гораздо эффективнее формулировать вероятностные прогнозы.
Допустим, в 2016 году вы утверждали, что Хилари Клинтон с семидесятипроцентной вероятностью станет следующим президентом. Это не значит, что вы плохой прогнозист. Правильным станет следующий вывод: событие, которое сбудется в семидесяти случаях из ста, в тридцати случаях все же не произойдет. Если мы хотим знать, хорош ли прогнозист, нам потребуется выяснить, насколько его вероятностная оценка соответствует реальности. Предположим, условная Маргарет утверждает, что 500 различных событий
произойдут с вероятностью 60 %. Если ее прогноз сбудется в отношении трехсот из них, придется сделать вывод, что вероятностное мышление Маргарет настроено вполне прилично. Подобная настройка – необходимое условие для хорошего аналитика.
В-третьих, отлаживая свой метод, Тетлок с коллегами не просто требовали от прогнозистов дать оценку вероятности наступления какого-либо события в течение, скажем, двенадцати месяцев. Ученые предоставили участникам возможность регулярно пересматривать свой прогноз в свете поступающей информации.
Предположим, в 2016 году вы спрогнозировали, что вероятность выхода Соединенного Королевства из Евросоюза до конца 2019 года составляет лишь 30 %. Идет время, мы получаем данные новых опросов, предполагающих, что движение за выход из Евросоюза набирает силу. Не исключено, что вы измените свою оценку в сторону повышения. Оглашается результат референдума, и он не добавляет ясности
– действительно ли в Лондоне решат отделиться именно в обозначенный нами период. Однако вероятность все растет (кстати, технически Брексит состоялся в 2020 году).
По мере поступления новой информации Тетлок и его коллеги разрешали прогнозистам корректировать свои оценки. В целях составления рейтинга каждая корректировка приравнивалась к новому прогнозу. Таким образом, участников проекта «Верное суждение» побуждали внимательно
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
следить за новостями и регулярно обновлять прогнозы. Подобный подход отражает требования к аналитикам в деловой среде и ожидания от прогнозов правительства. И те и другие обязаны достаточно часто обновлять свои оценки с учетом поступающих новостей и не должны обращать внимание на риск подвергнуться критике за перемену мнения. Кстати, отличным ответом на подобную критику служит заявление, приписываемое Джону Мейнарду Кейнсу: «Если изменяется фактическая обстановка, я меняю свое суждение. А как поступаете вы?»
В-четвертых, проект «Верное суждение» использовал для измерения эффективности прогнозистов систему, разработанную Гленном Брайером еще в 1950 году. Шкала Брайера определяет фактическую степень точности прогноза.
Упомянутая система представляет собой весьма разумный способ справиться с глобальной проблемой, присущей вероятностному прогнозу: обычно прогнозист подстраховывается, не пытаясь занять категоричную позицию. Вернемся к нашей Маргарет, которую мы посчитали умелым прогнозистом, предсказавшим шестидесятипроцентную вероятность наступления 500 событий, из которых 300 действительно случились. Подобный результат далеко не так внушителен, как нам представляется. Допустим, Маргарет стала синоптиком, постоянно оценивающим вероятность дождя в 60 %. Из 500 дней действительно выпадает 300 дождливых. Прогностическая способность Маргарет настроена неплохо,
однако абсолютно бесполезна на практике. В сущности, она советует: «Каждый день, выходя из дому, на всякий случай берите с собой зонт». Сравним Маргарет с условным Николасом, который дает 300 абсолютно точных прогнозов: «Сегодня будет дождь», а еще 200 раз говорит: «Дождя не будет» и вновь не ошибается. Способности к прогнозу у Николаса отлажены не хуже, чем у Маргарет: любой из этой парочки предсказывает, что в Х% случаев пойдет дождь, и их прогноз сбывается. Тем не менее оценка Николаса имеет бóльшую ценность: он не осторожничает и четко говорит вам, когда именно брать с собой зонт. Скажем так: Николас, помимо способностей к прогнозированию, обладает еще и решимостью.
Шкала Брайера оценивает как хороший прогностический дар, так и решимость. Высокий балл наберет тот, кто не только дает верную среднюю оценку (способность к прогнозированию), но еще и склоняется к категоричным ответам, дифференцируя свои прогнозы (высокая решимость). Рейтинг Брайера берет за основу логику метода исчисления среднеквадратической ошибки. Чем ниже набранный балл, тем по данной шкале лучше: наивысшим баллом станет значение
«0».
Итак, теперь мы знаем, как оценивают прогнозистов. Каковы же успехи добровольцев проекта «Верное суждение»? Одним из основных результатов исследования стала уверенность в том, что подавляющее большинство участников
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/