- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
Разновидности шума
Системный шум разбивается на межэкспертную и внутриэкспертную составляющие. Некоторые судьи более суровы, чем их коллеги, другие более снисходительны; некоторые аналитики в основном придерживаются «бычьего» прогноза в отношении перспектив рынка, другие же чаще дают «медвежий»; кто-то из докторов гораздо чаще коллег выписывает антибиотики. Межэкспертный шум является вариативностью среднего суждения, выносимого разными лицами. Разные виды личной шкалы оценки – одна из причин межэкспертного шума. Определение «весьма вероятно» или оценка «4» по шестибалльной шкале для разных людей будут иметь разное значение. Межэкспертный шум является важнейшим источником ошибок в системах суждений и одной из приоритетных целей для мероприятий, направленных на снижение шума.
Системный шум включает в себя еще один компонент, который, как правило, встречается чаще других. Независимо от среднего значения своих суждений, судьи, отступая от личной средней модели, выделяют для себя виды преступлений, заслуживающих наиболее сурового приговора. Соответственно, их решения о вынесении приговора создают различные системы ранжирования. Подобную вариативность мы называем внутриэкспертным шумом (в статистике
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
это зовется взаимодействием).
Главный источник внутриэкспертного шума исключительно стабилен и представляет собой разницу в уникальных личностных реакциях судей на определенные обстоятельства. В какой-то части подобные различия связаны с системой принципов или ценностей, которых придерживается (не всегда осознанно) человек. Например, один судья может крайне сурово относиться к магазинным воришкам и на удивление снисходительно – к нарушителям правил дорожного движения, а его коллега наоборот. Некоторые из этих исходных принципов и воззрений могут быть достаточно сложны для восприятия, и сам судья не всегда осознает движущие им мотивы. Например, судья безотчетно проявляет относительную мягкость, вынося приговор пожилому налетчику. Личная реакция на конкретный случай также может носить стабильный характер. Ответчица, напоминающая судье его собственную дочь, вполне способна заставить судью регулярно проявлять к ней сочувствие.
Стабильный внутриэкспертный шум говорит об уни-
кальности каждого судьи: индивидуальна их личность, индивидуальна и реакция на определенные дела. Неуловимые различия между людьми – интересная и познавательная тема, однако подобные различия становятся критическими, когда профессионалы работают в системе, требующей согласованности. Те исследования, с которыми мы ознакомились, определяют стабильный внутриэкспертный шум, возникаю-
щий вследствие подобных индивидуальных различий, как главнейший источник системного шума.
И все же четко выраженное личное отношение судей к конкретным делам не может характеризоваться идеальной стабильностью. Внутриэкспертный шум включает в себя еще одну переменную, которую мы назвали ситуативным шумом. Данную разновидность шумовых помех мы обнаружим у рентгенолога, который в разные дни недели даст отличающиеся друг от друга описания одного и того же снимка,
иу криминалиста, который сегодня отметит идентичность отпечатка пальца с контрольным образцом, а завтра заявит, что они не совпадают. Приведенные примеры показывают, что ситуативный шум легко выявляется, когда эксперт приходит к различным мнениям об одном и том же случае. Есть
идругой пример, доказывающий, что ситуативный шум существует: судья будет более мягок после того, как его любимая футбольная команда накануне одержала победу, а врач прописывает больше опиоидов пациентам, приходящим на прием после обеда.
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
Психология суждений и влияние шума
Когнитивные изъяны – не единственная причина ошибок при вынесении экспертами прогнозных суждений. Более существенную роль часто играет объективная неосведомленность. Ответы на некоторые вопросы попросту не имеют обоснованных правильных ответов. Сколько внуков будет через семьдесят лет у человека, который родился вчера? Сможете назвать номер выигрышного билета лотереи, розыгрыш которой состоится в следующем году? Другие вопросы имеют четкие ответы, однако судье они могут быть неизвестны. Чрезмерная уверенность в сделанном прогнозе выливается в недооценку объективной неосведомленности и присущих человеку когнитивных искажений.
Существует предел точности прогнозов, и наши способности в этом смысле чаще всего серьезно ограничены. Тем не менее мы, как правило, вполне удовлетворены собственными суждениями. Подобное чувство внушает нам внутренний сигнал, сообщающий нам об удачной интеграции фактов в суждение. Субъективная уверенность в собственном суждении необязательно свидетельствует о его объективной точности.
Большинство людей удивится, услышав, что точность их прогностических суждений не просто низка, но еще и усту-
пает механическому обобщенному прогнозу. Даже простейшие линейные модели, построенные на ограниченном объеме информации, или примитивное правило, которое можно набросать «на коленке», стабильно превосходят ваш спонтанный прогноз. Правила и модели избавлены от шума – и в этом их решающее преимущество. Наш субъективный опыт говорит, что суждение – тонкий и сложный процесс, однако указаний на то, что за шум отвечают именно тонкости, мы не видим. Сложно представить себе, что безусловная приверженность к простым правилам чаще дает больший процент точности, чем наш спонтанный подход, и все же на сегодняшний день этот факт не подлежит сомнению.
Психологические искажения , безусловно, являются источ-
ником систематических ошибок, иными словами, статистического смещения. Менее очевиден тот факт, что они еще и источник шума. Если искажению подвержены не все судьи или подвержены в разной степени, если влияние искажения зависит от внешних обстоятельств, – именно в таких условиях психологические искажения порождают шум. Например, половина менеджеров, отвечающих за подбор персонала, испытывает предубеждение против найма женщин, а другая половина, напротив, серьезно склоняется в пользу женского персонала. В итоге искажения нейтрализуются, однако системный шум вызовет множество ошибок в окончательных решениях. В качестве другого примера приведем непропорциональное влияние первого впечатления. Это тоже пси-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
хологическое искажение, однако, если данные о кандидате каждый раз поступают в произвольном порядке, в результате мы столкнемся с ситуативным шумом.
Мы описали процесс формирования суждения как произвольную интеграцию некоторого набора сигналов, которые в итоге определят место суждения на шкале оценки. Устранение системного шума потребует от судей согласованного подхода к толкованию таких сигналов, применения к ним идентичных весов и единообразного размещения итога на шкале оценки. Даже без учета произвольного воздействия ситуативного шума подобные условия достижимы крайне редко.
Высокой степени согласованности часто удается достигнуть в суждениях по одному отдельно взятому параметру. Разные менеджеры по найму нередко проявляют единодушие, оценивая, кто из двух кандидатов обладает большей харизмой или большей работоспособностью. Общий интуитивно обусловленный процесс сопоставления по наиболее выраженным характеристикам способствует формированию идентичных суждений. В пример приведем отбор людей с высокой средней успеваемостью, научившихся читать в раннем детстве. Также высок уровень совпадения суждений, опирающихся на небольшое количество фактов, указывающих в одном направлении.
Серьезные индивидуальные расхождения возникают в случаях, когда для вынесения суждения требуется взвеши-
вание множественных конфликтующих друг с другом сведений. Разговаривая с одним и тем же кандидатом, первый менеджер по найму посчитает более значимым наличие высоких умственных способностей и харизмы, второй же отдаст приоритет трудоспособности и стрессоустойчивости. В ситуации, когда факты не согласуются и не интегрируются в единое целое, каждый из нас неизбежно отдаст предпочтение одному из них (или нескольким) и проигнорирует остальные. В результате возникнет внутриэкспертный шум.
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/