- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
Шум и смещение в прогнозировании
Прочитав предыдущий раздел, вы, скорее всего, начали склоняться к мысли, что человека можно научить быть суперпредсказателем или, во всяком случае, помочь ему приблизиться к высокому уровню. В самом деле Тетлок и его соратники именно над этой проблемой и работали, и их усилия следует считать второй стадией исследования, заключающейся в решении двух вопросов: что делает суперпредсказателей настолько эффективными? Как заставить их работать еще лучше?
В ходе важнейшего эксперимента команда Тетлока произвольно разделила обычных (невыдающихся) прогнозистов на три группы, в которых тестировались различные методы улучшения качества суждений. Данные методы представляют собой три стратегии улучшения суждений, которые мы уже описали выше.
1. Обучение: несколько прогнозистов прошли курс обучения, направленный на улучшение их способностей, в ходе которого им преподавали основы вероятностных рассуждений. Прогнозисты узнали о различных типах искажений (в том числе о пренебрежении априорной вероятностью, чрезмерной уверенности и заданности восприятия), усвоили важный принцип усреднения прогнозов, поступивших из различных источников, и обучились учету сопоставимой ин-
формации.
2.Командная работа (одна из форм обобщения): несколь-
ких прогнозистов попросили работать в группах, предоставив им возможность прислушиваться к прогнозам коллег и обсуждать их. Командная работа имеет свойство повышать точность прогноза, поощряя участников группы анализировать мнения оппонентов и стимулируя развитие активного открытого мышления.
3.Отбор: каждый из прогнозистов получал балл за точность прогноза, и через год исследователи выбрали 2 % лучших суперпредсказателей. В течение следующего года они уже работали совместно в особых элитных группах.
В итоге выяснилось, что каждая из трех стратегий по-сво- ему результативна. Как минимум участники всех трех групп продвинулись по шкале Брайера. Обучение позволило добиться разницы по сравнению с ранее достигнутым уровнем, командная работа эту разницу увеличила, а отбор дал еще больший эффект.
Ценные результаты, полученные в процессе исследования, подтвердили значимость метода обобщения суждений и выбора лучших судей. Однако на этом история не закончилась. Опираясь на информацию об эффекте каждой из стратегий, Вилле Сатопаа, ранее сотрудничавший с Тетлоком и
Меллерс, разработал сложный статистический метод284, позволяющий выяснить, как именно каждый из трех подходов влиял на улучшение качества суждений. В принципе, рас-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
суждал он, существуют три основные причины, по которым некоторые прогнозисты отличаются от своих коллег в лучшую или худшую сторону:
1.Хороший прогнозист имеет отличные навыки поиска
ианализа информации из внешней среды, представляющей ценный источник для формирования прогноза. Стало быть, здесь мы говорим о важности информации.
2.Некоторые прогнозисты проявляют общую склонность к ошибкам в определенных аспектах достоверности прогноза. Если прогнозист сделает сотню прогнозов и в каждом из них допустит системную ошибку в части недооценки или переоценки возможности некоторых изменений статус-кво, мы, в зависимости от направления его ошибок, скажем, что на данного специалиста оказывает влияние определенная форма когнитивного искажения.
3.Некоторые прогнозисты менее подвержены воздействию шума (реже допускают случайные ошибки). В области прогнозирования, как и при вынесении любого иного суждения, существуют многочисленные механизмы, запускающие шумовой фон. Прогнозисты могут проявлять чрезмерную реакцию на какую-либо новость (это и есть пример внутриэкспертного шума), могут быть подвержены и влиянию шума ситуативного. При работе со шкалой вероятностей на таких специалистов могут воздействовать шумовые помехи. Направление и масштаб каждой ошибки (а мы перечислили лишь некоторые из них) непредсказуемы.
Сатопаа, Тетлок, Меллерс и их коллега Марат Салихов выделили для себя три основных компонента, присущих прогнозированию: искажение, информацию и шум. Перед исследователями стояла задача: измерить, как ведут себя данные компоненты при оптимизации эффективности в разрезе каждой из трех стратегий. Модель получила название
«BIN».
Ответ оказался простым: каждая из трех стратегий в первую очередь работала на снижение шума. Ученые отме-
тили: «В тех случаях, когда применяемые меры285 улучшали точность, их эффект складывался в основном за счет нейтрализации возможности случайных ошибок в суждениях. Любопытно, что изначальной целью стратегии обучения было уменьшить смещение».
Итак, поскольку обучающий метод был нацелен на искажения, прогнозист средних способностей предсказал бы, что основным достижением примененного подхода станет уменьшение смещения, и оказался бы не прав: тренинги уменьшили шум. Неожиданный поворот вполне объясним. Обучающий метод Тетлока был направлен на нейтрализацию психологических искажений, которые, как мы уже знаем, не всегда приводят к статистическому смещению. Допустим, разные люди в ходе дискуссии выносят разные суждения, прибегая к различным подходам. В каждом случае срабатывают психологические искажения, внося шум в итоговый результат. Подобный эффект мы наблюдаем и здесь, посколь-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
ку прогнозируемые события крайне разнообразны. В зависимости от темы искажения заставляют аналитика недооценивать или переоценивать вероятность. Статистического смещения, которое стабильно заставляет прогнозиста полагать, что определенные события наверняка произойдут (или, напротив, не произойдут), в данном случае ожидать не приходится. В результате обучение прогнозистов методам борьбы с психологическими искажениями как раз и приводит к снижению шума.
Метод командной работы лучше подавляет шум, нежели метод обучения и в то же время значительно улучшает способность команды извлекать необходимую для суждения информацию. Результат в данном случае согласуется с логикой метода обобщения: коллективный мозговой штурм дает больше возможностей для обнаружения значимых данных, чем работа в одиночку. Допустим, условные Элис и Брайан работают в команде, и Элис замечает сигнал, пропущенный напарником. В итоге их совместный прогноз окажется лучше. Судя по всему, при работе в группе суперпредсказателям удается избегать риска групповой поляризации и влияния информационных каскадов. Напротив, они обобщают интуитивные догадки и добытые каждым из них данные, извлекая максимум из имеющейся информации за счет применения активного открытого мышления. Сатопаа и его коллеги объясняют данный эффект так: «Командная работа, в от-
личие от обучения…286 позволяет прогнозистам не идти на