- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
Проще говоря, надо сопоставить выгоды от снижения шума с издержками. Подобный подход справедлив и является одной из причин, почему ревизия шумовых помех настолько важна. Во многих ситуациях ревизия выявляет шум, способствующий вопиющей несправедливости, серьезным затратам, а порой и тому и другому. Если это ваш случай, цена снижения шума – не оправдание для бездействия.
Меньше шума – больше ошибок?
Вспомним другой аргумент: некоторые меры по внедрению стратегий снижения шума сами по себе приводят к неприемлемо высокой вероятности ошибок. Довод справедлив в том случае, когда применяется недостаточно хорошо настроенный инструментарий. В самом деле, некоторые меры способны даже увеличить смещение. Например, Facebook
иTwitter ввели у себя жесткие методические указания, направленные на удаление сообщений, содержащих определенную бранную лексику, и тем самым снизили уровень шума в своих решениях. Однако под ту же гребенку удаляются бесчисленные пóсты, которые вполне можно было бы сохранить. Ложное определение цели – суть ошибка выбранного направления; это и есть смещение.
Мы часто слышим об организационных реформах, направленных на снижение роли «решений на усмотрение»
итех практик, что производят шум. Для многих подоб-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
ных реформ существуют определенные причины, однако порой лекарство оказывается опаснее, чем болезнь. Экономист Альберт Хиршман указал в книге «Риторика реакции» на три стандартных возражения, которыми оперируют против-
ники реформ. Во-первых, попытки реформ397 могут носить извращенный характер в том смысле, что они усугубляют проблему, которую призваны решить. Во-вторых, подобные усилия порой оказываются тщетными, не принеся никакого эффекта. В-третьих, они подвергают опасности иные важные ценности (например, попытки защитить профсоюзы и само право на их создание, насколько известно противникам реформ, замедлили экономический рост). Извращение, тщетность и опасность и стали аргументами против снижения шума, а первый и третий из них оказались наиболее сильными. В каких-то случаях эти доводы следует воспринимать как чистую риторику – попытку сорвать реформу, которая на самом деле принесла бы огромный положительный эффект. И все же здесь есть доля правды: некоторые стратегии снижения шума и в самом деле несут риск важнейшим ценностям. Не следует закрывать глаза и на риски извращения.
Те судьи, что возражали против методических рекомендаций по вынесению приговора, как раз на этот риск и указывали. Им было известно, какую работу проделал судья Франкел; никто из них не отрицал, что свобода действий действительно привносит шум. Тем не менее все они дружно считали, что снижение степени свободы ни в коем случае не
снизит количество ошибок, а лишь приведет к его увеличе-
нию. Вацлав Гавел писал, что противники Франкела398 настаивали: «Следует распрощаться с надменным убеждением, что мир – лишь головоломка, в которой нужно разобраться, машина, подчиняющаяся инструкциям, которые предстоит изобрести, фрагмент информации, который мы вводим в компьютер в надежде, что рано или поздно он выплюнет из принтера универсальное решение». Причиной отказа от идеи универсального решения является твердая уверенность в том, что ситуации, в которые попадает человек, бесконечно разные, и хороший судья всегда учтет эти различия. То есть с присутствием шума надо смириться или по крайней мере отказаться от некоторых стратегий его снижения.
Когда компьютер только научили играть в шахматы, одна крупная авиакомпания предложила пассажирам на международных рейсах сразиться с искусственным интеллектом. В программу заложили три уровня сложности. На самом простом из них компьютер следовал элементарному правилу: ставить шах противнику при малейшей возможности. Шума в программе не наблюдалось – играла она каждый раз однотипно. И в то же время твердое правило приводило к многочисленным ошибкам. Шахматистом компьютер оказался крайне слабым, и даже неопытный игрок мог нанести ему поражение (хотя в этом и вся соль: победивший пассажир – довольный пассажир).
Вспомним также политику осуждения преступников, при-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
нятую в некоторых американских штатах и получившую на-
звание «Закон трех ошибок»399. Идея заключалась в том, что, совершив три уголовных преступления, вы получаете приговор: «пожизненное заключение». Политика снижала разброс мнений, обусловленный произвольным назначением судьи. Сторонники системы выражали серьезную обеспокоенность межэкспертным шумом и высокой вероятностью снисходительности судей по отношению к рецидивистам. Стратегия «закона трех ошибок» была призвана устранить главный элемент шума.
Однако, пусть этот подход и преуспел в снижении шумового фона, мы имеем основания полагать, что цена успеха слишком высока. Не каждый человек, совершивший три уголовных преступления, заслуживает того, чтобы его выбросили из жизни. Возможно, в его преступлениях отсутствует элемент жестокости; не исключено, что к правонарушению его побудили ужасные жизненные обстоятельства; допустим, он вполне способен встать на путь исправления. Многие считают, что пожизненное заключение без учета особых обстоятельств свидетельствует не только о жестокости системы, но и об отсутствии гибкости.
Вспомним дело «Вудсон против Северной Каролины»400, когда Верховный суд Соединенных Штатов постановил, что обязательный смертный приговор – неконституционная мера не в силу своей жестокости, а потому что его возвели в правило. Смысл введения обязательного смертного при-
говора заключался как раз в том, чтобы воспрепятствовать возникновению шума (то есть при определенных условиях убийца приговаривался к смертной казни). Призывая к необходимости индивидуального подхода, суд заявил, что «больше нет места убеждению, что любое правонарушение в определенном правовом поле влечет идентичную меру наказания безотносительно прошлого обвиняемого и его склонностей». Верховный суд заключил, что серьезным конституционным недостатком обязательного смертного приговора необходимо признать «обращение с каждым из лиц, обвиненным в определенном преступлении, как с элементом безликой, аморфной массы, подлежащим слепому отправлению правосудия – смертной казни, в то время как следует воспринимать любого из них как уникальную личность».
Вынесение смертного приговора – процедура, где ставки особенно высоки, однако данный анализ можно применять и к иным ситуациям, большинство которых совершенно не обязательно связано с правосудием. Учителя, выставляющие отметки школьникам, доктора, обследующие пациентов, и работодатели, аттестующие работников, оценщики страховых убытков, устанавливающие размер страховой премии, и тренеры, оценивающие спортсменов, – каждый из них способен совершить ошибку, применяя жесткие правила снижения шума. Если работодатель использует простые правила оценки и продвижения сотрудников, подобные стандарты устраняют шум, в то же время игнорируя важнейшие аспек-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
ты деятельности работника. «Бесшумная» скоринговая система не учитывает значимых переменных, почему и сработает хуже «зашумленных» индивидуальных суждений.
В главе 27 мы рассмотрим общий подход восприятия человека как уникальной личности, а не как «элемента безликой аморфной массы». Пока же сосредоточимся на более прозаических темах. Некоторые стратегии снижения шума гарантированно служат причиной возникновения множества ошибок подобно той примитивной шахматной программе.
И все же, несмотря на видимую убедительность аргумента, на деле он таковым не является. Если конкретная стратегия снижения шума чревата ошибками, не следует смиряться с высоким уровнем шумовых помех. Необходимо продумать альтернативный подход, например, пойти по пути обобщения суждений вместо утверждения глупых правил либо разработать более адекватные методические рекомендации и регламенты взамен несуразных. Допустим, университет в целях снижения шума применяет тесты; абитуриенты с наиболее высоким рейтингом допускаются до обучения, только и всего. Если подобное правило дает слишком грубый результат, вуз может предложить формулу, которая учла бы как балл при тестировании, так и возраст, спортивные достижения, информацию о семье абитуриента и многое другое. Сложные правила могут оказаться и более точными, поскольку лучше настроены на восприятие широкого круга значимых факторов. Используют же врачи комплексные