К разговору о внутриэкспертном шуме
«Судя по всему, вы уверены в своих выводах, однако проблема не так проста: ключевые зацепки указывают в разных направлениях. Возможно, вы проигнорировали альтернативную интерпретацию фактов?»
«Мы с вами провели собеседование с одним и тем же кандидатом; как правило, мы предъявляем к соискателям одинаковые требования. Однако наши оценки диаметрально противоположны. В чем же причина внутриэкспертного шума?»
«Уникальность личности дает нам способность принимать новаторские решения, выдвигать творческие идеи, да и просто радоваться жизни и заражать других своей энергией. Но когда дело касается суждений, наша уникальность не идет нам на пользу».
Глава 17 Источники шума
Мы надеемся, вы уже не сомневаетесь, что там, где есть место суждению, найдется и шум. Мы также надеемся, что у вас его теперь не больше, чем вы думаете. Мантра о шумовых помехах вдохновила нас начать этот проект, однако за много лет работы тема значительно расширилась. Давайте повторим основные усвоенные уроки в отношении различных компонентов шума – о важности каждого из них в общем шумовом фоне и о месте шума в исследовании суждений.
Компоненты шума
На рисунке 16 схематично представлены три уравнения, рассмотренные в главах 5, 6 и 16, которые иллюстрируют три последовательных этапа разделения ошибок на компоненты:
•разбивка ошибок на смещение и системный шум;
•разбивка системного шума на межэкспертный и внутриэкспертный шум;
•разбивка внутриэкспертного шума на постоянный и си-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
туативный.
На рисунке показано, что MSE разлагается на186 квадрат искажений и квадраты трех компонентов шума, рассмотренных ранее.
Рис. 16. Ошибки, искажения и компоненты шума
Начиная наши исследования, мы сосредоточились на относительных весах смещения и шумовых помех в составе ошибок. Мы также пришли к выводу, что доля шума в составе ошибок зачастую больше, чем доля смещения, и потому шум заслуживает более детального изучения.
Что касается компонентов шума, мы с самого начала руководствовались структурой комплексной ревизии шумовых помех, когда множество людей давали индивидуальные оценки по многим делам – например, при вынесении приговоров федеральными судьями или назначении суммы компенсации морального ущерба. Полученные в ходе этих исследований данные позволили дать комплексное обоснование межэкспертному шуму. С другой стороны, поскольку каждый участник эксперимента давал оценку каждому случаю, но только один раз, нельзя было сказать, являются ли постоянными или временными остаточные ошибки, которые мы назвали внутриэкспертными. При статистическом анализе (понимая его в консервативном смысле) остаточным ошибкам обычно дают некорректное название и трактуют как случайные. Другими словами, по умолчанию весь внутриэкспертный шум относят к ситуативным шумовым помехам.
Традиционная интерпретация внутриэкспертного шума как случайных ошибок долгое время препятствовала даль-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
нейшему развитию нашей идеи. Казалось совершенно естественным сосредоточиться на межэкспертном шуме – стойком различии между строгими и снисходительными судьями или оптимистичными и пессимистичными прогнозистами. Однако нас также заинтриговал сам факт воздействия на оценки не относящихся к делу и временных обстоятельств, которые создавали ситуативные шумовые помехи.
Факты постепенно подводили нас к пониманию – «шумные» суждения, которые дают различные люди, в значительной степени зависят от чего-то еще, что нельзя отнести на счет необъективности конкретного человека и что также не является временным и случайным, а представляет собой стойкую персональную реакцию на множество факторов, определяющую действия индивидуума в отдельных случаях. В конечном счете мы пришли к выводу, что от нашего сделанного по умолчанию допущения о временной природе внутриэкспертного шума следует отказаться.
Хотя мы старались быть осторожными и не переусердствовать в генерализации на весьма ограниченной выборке, совокупные результаты большого числа исследований все же наводят на мысль, что постоянный внутриэкспертный шум и в самом деле более значим, чем прочие компоненты системного шума. Поскольку полная картина компонентов ошибок нечасто присутствовала в одном и том же исследовании, потребовалось несколько триангуляций, чтобы сформулировать предварительное заключение. Итак, перед вами то, что