- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
Рис. 10. Разложение системного шума на составляющие
Составляющие шума
Разбирая явление внутриэкспертного шума, мы обошли молчанием довольно сложный момент: потенциальную роль случайной ошибки.
Вспомните ваши манипуляции с секундомером. Когда вы раз за разом пытались отмерить десять секунд, результаты были неодинаковыми: вы продемонстрировали внутриэкспертный разброс. Аналогичным образом судьи не назначили бы ровно такие же сроки наказания по 16 делам, если бы им пришлось сделать это в иной ситуации. В самом деле, как мы убедимся далее, если бы первоначальный эксперимент выпал на другой день той же недели, приговоры уже несколько отличались бы. Будь судья в приподнятом настроении из-за счастливого события в жизни дочери или из-за победы любимой спортивной команды накануне, а может, просто потому, что день выдался особенно погожим, приговоры могли бы получиться гораздо мягче. Такой внутриэкспертный разброс концептуально отличается от рассмотренного нами устойчивого межэкспертного разброса, однако отличить их друг от друга довольно сложно. Вариативность, вызванную непостоянными, мимолетными факторами, мы будем назы-
вать ситуативным шумом .
В этом исследовании мы практически пренебрегли ситуативным шумом и во время проведения ревизии шумовых помех истолковывали идиосинкразические модели вынесения приговоров выражением устойчивой жизненной позиции судей. Это, безусловно, весьма оптимистическое допущение, но существуют независимые причины полагать, что в данном исследовании ситуативный шум не играл значительной роли. Обладающие солидным опытом судьи, прини-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
мавшие участие в эксперименте, без сомнения, использовали свои личные установки о значимости всевозможных характеристик преступлений и подсудимых. В следующей главе мы обсудим ситуативный шум более подробно и покажем, как не спутать его с устойчивым внутриэкспертным шумом.
Итак, мы рассмотрели различные типы шума. Системный шум – нежелательный разброс в суждениях по одному делу, выносимых несколькими экспертами. Мы описали два значимых компонента системного шума, которые можно выделить, когда одни и те же люди дают оценку по нескольким делам:
Межэкспертный шум – разброс в средних значениях суждений, вынесенных различными экспертами.
Внутриэкспертный шум – разброс в отношении экспертов к отдельным делам.
Внастоящем исследовании был примерно одинаковый уровень межэкспертного и внутриэкспертного шума. Однако внутриэкспертный шум, в свою очередь, несомненно, содержит некоторую долю ситуативного шума , который можно отнести к случайным ошибкам.
Виллюстративных целях мы рассказали о применении ревизии шума в судебной системе, но точно такой же анализ можно провести на основе ревизии шума в любой сфере – в бизнесе, здравоохранении, государственном управлении или
где-то еще. Межэкспертный и внутриэкспертный (включающий ситуативный) виды шума вносят свой вклад в возникновение системного шума, и мы еще не раз к ним вернемся.
К разговору об анализе шума
«Межэкспертный шум возникает, когда разные судьи проявляют различную степень суровости при вынесении приговоров. А когда они не соглашаются друг с другом по поводу того, кто из обвиняемых заслуживает более строгого или мягкого отношения, – это пример внутриэкспертного шума. Его составная часть – ситуативный шум, или случаи, когда судьи противоречат сами себе».
«В идеальном мире обвиняемые представали бы перед справедливым судом, в реальности же они предстают перед системой, полной шума».
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
Глава 7 Ситуативный шум
Профессиональный баскетболист готовится к штрафному броску: он уже занял позицию на линии. Вот игрок настроился – и пробивает. Он отрабатывал эту последовательность действий бесчисленное количество раз. Окажется ли мяч в корзине?
Мы этого не знаем – как не знает и сам спортсмен. Примерно три четверти бросков в играх Национальной баскетбольной ассоциации обычно попадают в цель. Разумеется, одни игроки результативнее других, однако совсем без про-
махов не обходится никто. Лучшие в истории54 баскетболисты отправляют в корзину чуть больше 90 % штрафных мячей. (На момент написания этой книги к ним относятся Стефен «Стеф» Карри, Стив Нэш и Марк Прайс.) У игроков с худшими результатами штрафных бросков процент попада-
ния равен примерно 50 %. (Великому Шакилу O’Нилу55 удавалось забрасывать лишь в 53 % случаев.) Хотя кольцо неизменно находится на высоте 10 футов и удалено от штрафной линии на 15 футов, а стандартный вес мяча – 22 унции, воспроизведение последовательности движений, необходимых для результативного броска, дается весьма непросто. В этой ситуации мы ожидаем вариативность – как среди результатов