- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
ка он остается стандартным способом оценить погрешность в любых вычислениях, требующих точности. В статистике без взвешивания квадратов погрешностей не обойтись, да и в других областях науки метод наименьших квадратов используется постоянно. Очень скоро мы с вами убедимся, что последствия применения этого подхода могут быть весьма неожиданными.
Уравнения расчета погрешности
Роль смещения и шума в возникновении погрешностей легко обобщить двумя выражениями, которые мы назовем
уравнениями расчета погрешности. Первое из этих уравне-
ний раскладывает погрешность однократного измерения на две составляющие, с которыми вы уже знакомы: смещение, или среднюю погрешность, и остаточную «шумную погрешность». Шумная погрешность имеет положительное значение, если погрешность больше, чем смещение, и отрицательное, если меньше. Среднее значение шумных погрешностей равняется нулю. В первом уравнении нет ничего нового:
Погрешность в однократном измерении = Смещение + Шумная погрешность
Второе уравнение расчета погрешности – это разложение на составные части среднеквадратической ошибки, уже зна-
комой нам меры общей погрешности. При использовании
простых алгебраических действий44 среднеквадратическая ошибка может быть представлена как сумма квадратов смещения и шума. (Вспомните, что шум – стандартное отклонение в измерениях, идентичное стандартному отклонению шумных погрешностей.) Таким образом:
Общая погрешность (MSE) = Смещение2+ Шум2
Возможно, вид этого уравнения – сумма двух квадратов – напоминает вам известную со школьных лет теорему Пифагора. Как вы, вероятно, помните, в прямоугольном треугольнике сумма квадратов катетов равняется квадрату гипотенузы. Поэтому уравнение расчета погрешности можно визуализировать при помощи трех квадратов, стороны которых образуют стороны прямоугольного треугольника, при этом площади этих квадратов равны соответственно MSE, сме-
щению2 и шуму2. Рисунок 7 показывает, что MSE (площадь темного квадрата) равняется сумме площадей двух других квадратов. На изображении слева шум больше, чем смещение; на изображении справа смещение больше, чем шум. Однако в обоих случаях MSE одинаковы, а уравнение расчета погрешности применимо к обоим изображениям.
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
Рис. 7. Два разложения MSE на составляющие
Математическое выражение и его визуализация показывают, что роли смещения и шума в уравнении расчета погрешности идентичны. При определении общей погрешности они взаимонезависимы и равновзвешенны. (Заметьте, что в последующих главах мы прибегнем к похожему разложению на сумму квадратов, анализируя составляющие шума.)
Уравнение расчета погрешности предлагает ответ на практический вопрос, заданный Эми: как изменится общая погрешность, если в одинаковой степени сократить уровень шума или смещения? Ответ на этот вопрос очевиден: в уравнении расчета погрешности смещение и шум взаимозаменяемы, поэтому независимо от того, какой из этих двух показателей мы уменьшим, снижение общей погрешности будет одинаковым. На рисунке 4, где смещение и шум оказались идентичными (по 10 %), их вклад в общую погрешность равнозначен.
Уравнение расчета погрешности определенно говорит в пользу первоначального порыва Эми принять меры по сокращению уровня шума. Каждый раз, когда вы обнаруживаете шум, вы должны постараться его уменьшить! Уравнение указывает на то, что шеф Эми был не прав, предложив подождать до момента, когда можно будет измерить смещение в прогнозах, и только затем принимать решение о дальнейших действиях. При подсчете общей погрешности шум и смещение выступают независимо: выгода от сокращения уровня шума никак не изменится, каким бы при этом ни было смещение.
Эта идея крайне парадоксальна, но при этом принципиально важна. В качестве демонстрации на рисунке 8 показан эффект от одинакового сокращения смещения и шума. Чтобы вам было проще оценить, чего удалось достичь в каждом случае, мы представили первоначальное распределение ошибок (с рисунка 4) в виде пунктирной линии.
В случае А мы исходим из того, что начальник Эми настоял на своем: был определен уровень смещения, затем его сократили вдвое (возможно, предоставив данные исследования прогнозистам, оказавшимся слишком оптимистичными). Уровень шума остался неизменным. На графике сразу заметны улучшения: распределение ошибок целиком сдвинулось в направлении истинного значения.
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
Рис. 8. Распределение ошибок: двукратное сокращение смещения в сравнении с двукратным сокращением шума
В случае Б мы видим, что бы произошло, если бы Эми все же удалось переубедить своего шефа. Уровень смещения не меняется, а шум сокращается вдвое. Парадокс в том, что создается впечатление, что снижение уровня шума только ухудшило ситуацию. Теперь разброс прогнозов гораздо меньше (ниже уровень шума), но они не стали точнее (смещение не изменилось). Если раньше по одну сторону от истинного значения были 84 % прогнозов, теперь там оказались почти все прогнозы (98 %). Кажется, что сокращение шума значительно ухудшило их качество – совсем не похоже на положительные изменения, на которые так надеялась Эми!
Вопреки создавшемуся впечатлению, в обоих случаях общая погрешность уменьшилась одинаково. Иллюзия того, что в случае Б результаты стали хуже, возникает из-за оши-
бочных интуитивных представлений о смещении. Целесообразной мерой смещения следует считать не то, какой процент ошибок оказывается по разные стороны от нулевой погрешности, а среднюю погрешность – расстояние между наивысшей точкой кривой и истинным значением. В случае Б средняя погрешность не изменилась. Она все еще высока – 10 %, но больше она не стала. Действительно, смещение стало гораздо заметнее, потому что теперь его вклад в общую погрешность весомее (80 % против 50 % ранее). Но это произошло потому, что уменьшился уровень шума. Напротив, в случае А смещение сократилось, а шум остался прежним. В конечном счете MSE одинакова в обоих случаях: равные объемы сокращения шума или смещения оказывают на MSE один и тот же эффект.
Как показывает этот пример, среднеквадратическая ошибка противоречит нашим интуитивным представлениям об оценке прогнозных суждений. Чтобы минимизировать MSE, нужно постараться избежать значительных ошибок. К примеру, при измерении длины эффект от уменьшения погрешности с 11 см до 10 см в 21 раз выше, чем эффект ее сокращения с 1 см до истинного значения. К сожалению, инту-
итивные представления в этом отношении45 почти зеркально противоположны верным: люди всеми силами стремятся получить максимально точный ответ и очень внимательно относятся к небольшим погрешностям, при этом практически игнорируя разницу между двумя значительными ошиб-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
ками. Даже если вы искренне полагаете, что пытаетесь добиться точности суждения, ваш эмоциональный отклик на результаты может помешать достижению точности в научном понимании.
Конечно же, самым оптимальным решением в этой ситуации будет заняться уменьшением как шума, так и смещения. Поскольку эти величины друг от друга не зависят, бессмысленно выбирать между предложениями Эми Симкин и ее начальника. Если компания GoodSell все же возьмется за сокращение уровня шума, тот факт, что при этом станет очевиднее смещение – а на самом деле его просто невозможно будет не заметить, – может обернуться благом.
Разумеется, при уровне смещения намного больше уровня шума сокращение последнего будет менее приоритетной задачей. Но пример с компанией GoodSell дает нам еще один немаловажный урок. В этой упрощенной модели мы посчитали, что уровни шума и смещения одинаковы. Согласно уравнению расчета погрешности, их вклад в общую погрешность тоже одинаков: 50 % у шума и 50 % у смещения. И все же, как мы заметили, 84 % прогнозистов ошиблись в бóльшую сторону. Требуется именно такой высокий уровень смещения (шесть из семи специалистов ошиблись в одинаковом направлении), чтобы их эффект сравнялся с эффектом шума. Поэтому не стоит удивляться, столкнувшись с ситуациями, когда уровень шума выше, чем уровень смещения.
Мы показали применение уравнения расчета погрешно-