Измерение смещения и шума

Среднеквадратическая ошибка (MSE) уже на протяжении двух столетий является стандартом точности в научных методиках измерения. Основные свойства MSE заключаются в том, что она дает нам выборочное среднее значение в виде непредвзятой оценки математического среднего, в равной степени воспринимает погрешность в обе стороны от среднего значения и непропорционально наказывает большие ошибки. MSE не отразит реальную цену ошибки в суждении, так как она нередко имеет асимметричный характер. В то же время решения в профессиональной сфере всегда требуют точного прогноза. Если на город надвигается ураган, цена недооценки и переоценки опасности явно несоизмерима, однако вы не захотите, чтобы подобные отклонения повлияли на прогноз метеорологов относительно скорости и направления ветра. MSE служит подходящим стандартом для вынесения предиктивного суждения, когда целью является объективная точность.

По итогам оценки методом среднеквадратической ошибки смещение и шум, дополняя друг друга, являются независимыми источниками ошибки. Очевидно, что смещение ни к чему хорошему привести не может и снижение его уровня повышает точность. Однако интуиция не всегда подскажет нам, что шум опасен в равной степени и что его подав-

мах – от рентгенологии до уголовного правосудия. Порой подобная ревизия обратит наше внимание на недостаточность специфических навыков и неэффективность обучения. Возможна и количественная оценка – например, в случае, когда андеррайтеры, работающие в команде, расходятся в прогнозе уровня риска.

Какая из проблем важнее – шум или смещение? Все зависит от конкретной ситуации. И все же, скорее всего, верным ответом станет «шум». Смещение и шумовые помехи вносят равный вклад в итоговую ошибку (MSE), когда среднее значение ошибки (смещение) равно стандартному отклонению (шуму). При нормальном распределении суждений (колоколообразная кривая) влияние шума и смещения будет тождественно, если 84 % суждений находятся выше (или ниже) точки истинного значения. Смещение в данном случае будет существенным, и в профессиональных областях это нередко бросается в глаза. Если же смещение будет меньше величины одного стандартного отклонения, основным источником итоговой ошибки следует признать шум.

Шум – серьезная проблема

Вариативность как таковая не является проблемой при вынесении некоторых видов суждений; более того, она даже приветствуется. Разнообразие мнений дает импульс для появления новых идей и вариантов, нестандартное мышление

– важнейший ресурс для инновационных идей. Разброс мнений в среде кинокритиков говорит лишь о присущей этой сфере особенности, но никак не об ошибке. Противоположные точки зрения трейдеров двигают рынки. Различные подходы к стратегиям в группе конкурирующих молодых предприятий позволяют рынкам выбрать наиболее достойное из них. Что же касается вопросов суждения – в данном контексте системный шум всегда проблематичен. Если два доктора ставят вам разные диагнозы, как минимум один из них не прав.

К написанию данной книги нас побудили удивительно широкое распространение системного шума и причиняемый им вред. Все куда серьезнее, чем принято думать. Мы приводили примеры из многих областей профессиональной деятельности – из бизнеса и медицины, криминалистики и прогнозирования, оценки эффективности персонала и политики. Отсюда наш вывод: там, где есть место суждению, найдется и шум – и его намного больше, чем вы думаете.

Огромная роль шума в совершаемых нами ошибках про-

Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/

тиворечит общему убеждению в том, что несистемные ошибки не имеют большого значения, если они взаимно уравновешивают друг друга. Это заблуждение! Бессмысленно заявлять, что пули, попавшие в разные сектора мишени, в среднем легли близко к «яблочку». Если один кандидат получил по итогам интервью завышенную оценку, а рейтинг другого, напротив, занизили – вы можете нанять не того человека, который вам требуется. Если завышен размер страховой премии по одному полису, а по другому, наоборот, занижен, обе ошибки дорого обойдутся страховой компании: одна заставит страховщика потерять свою долю рынка, вторая приведет к убыткам.

Подводя итог, скажем: если мнения разнятся без серьезных на то оснований, будьте уверены – в ваши рассуждения вкралась ошибка. Шум, безусловно, наносит вред и в тех случаях, когда истинность суждений не поддается проверке и ошибку невозможно вычислить. Несправедливо, когда к людям в одной и той же ситуации относятся по-разному. Система, внутри которой профессионалы не могут прийти к согласию, теряет доверие.