- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
баланса. После череды решений, склоняющихся в одну сторону, они чаще, чем это может быть оправдано, принимают решения, склоняющиеся в противоположную сторону. В результате неизбежны ошибки и несправедливые решения. Например, судьи, занимающиеся предоставлением убежища в США, на 19 % менее склонны предоставить убежище кандидату в случае, если по предыдущим двум делам решение было положительным. Ваши шансы на получение кредита возрастут, если заявки двух предыдущих кандидатов были отклонены; при этом вам скорее откажут, если две предыдущие заявки были одобрены. Такое поведение отражает когнитивное искажение, известное под названием ошибка иг-
рока81: мы, как правило, недооцениваем вероятность случайных последовательностей.
Определение масштабов ситуативного шума
Какова доля ситуативного шума в общем системном шуме? Хотя показателя, применимого ко всем ситуациям, не существует, складывается некое общее правило. Масштабы описанных в этой главе эффектов ниже, чем масштабы постоянных межэкспертных и внутриэкспертных различий в принятии решений.
Например, как уже было отмечено, шансы получить убежище в США падают на 19 %, если дело рассматривается
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
судьей сразу после двух положительных решений. Такая вариативность, без сомнения, вызывает озабоченность. Но эти цифры меркнут по сравнению с разбросом в решениях двух разных судей. Исследователь Джайя Рамджи-Ногалес с коллегами обнаружила, что в одном из судов Майами некий су-
дья предоставлял убежище82 88 % просителей, а другой – только 5 %. (Это реальные данные, а не ревизия шума, поэтому все заявители были разные, но судьи, рассматривавшие их прошения, были назначены квазислучайно. Авторы работы проследили за тем, чтобы этническая принадлежность заявителей не играла роли.) При такой вариативности кажется, что сокращение одного из показателей на 19 % уже не будет иметь большого значения.
Похожим образом дактилоскописты и врачи порой противоречат сами себе, но это происходит реже, чем ситуации, когда они не согласны с коллегами. В каждом изученном нами случае, где доля ситуативного шума в общем системном шуме могла быть измерена, ситуативный шум играл меньшую роль, чем различия между экспертами.
Другими словами, вы не всегда являетесь одной и той же личностью, и вы менее последовательны с течением времени, чем думаете. Однако несколько утешает тот факт, что у вас больше общего с собой вчерашним, чем с другим человеком в один день.
Ситуативный шум, внутренние причины
Влияние настроения, усталости, погоды, последовательности рассмотрения дел – существует множество факторов, способных спровоцировать появление нежелательного разброса в суждениях одного человека по одному вопросу. Остается надеяться, что можно организовать процесс принятия решения так, чтобы все посторонние факторы были известны и взяты под контроль. По крайней мере, в теории такая обстановка помогла бы снизить ситуативный шум. Но даже такие условия будут недостаточными для его полного устранения.
Майкл Кахана и его коллеги из Пенсильванского универ-
ситета изучают способность к запоминанию83. (Запоминание не является задачей по вынесению суждения в нашем определении, однако это когнитивная задача, условия выполнения которой можно строго контролировать, а вариативность при этом легко измерить.) В ходе одного исследования 79 испытуемым предложили принять участие в исключительно подробном анализе их способности к запоминанию. С участниками эксперимента провели 23 сессии, на каждую из которых отводился отдельный день; во время этих сессий испытуемые должны были вспомнить слова из 24 различных списков, состоявших из 24 слов каждый. Способность к запоминанию определялась как процент слов, кото-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
рые удалось вспомнить.
Кахану и его коллег интересовали не различия между испытуемыми, а скорее параметры, позволяющие спрогнозировать разброс в результатах каждого участника. Будет ли таким параметром собранность испытуемого? А количество часов сна предыдущей ночью? А время проведения эксперимента? Будет ли запоминание улучшаться от сессии к сессии? Будет ли оно ухудшаться по мере усталости или с потерей интереса? Окажутся ли одни списки слов легче для запоминания, чем другие?
На все эти вопросы были получены положительные ответы, однако влияние, оказываемое этими параметрами, не было значительным. Модель, учитывающая все эти показатели, смогла объяснить лишь 11 % вариативности результатов испытуемого. Ученые описали это следующим образом: «Нас поразило, какой высокий уровень вариативности мы увидели уже после того, как исключили влияние прогнозных переменных». Что вызывало ситуативный шум даже в таких строго контролируемых условиях, оставалось загадкой.
Самой мощной переменной, прогнозирующей способность испытуемого вспомнить слова из определенного списка, был отнюдь не внешний фактор. Эту способность можно было проще всего предсказать, исходя из того, как хорошо испытуемый смог вспомнить слова из предыдущего списка. За «успешным» для испытуемого списком, как правило, следовал еще один относительно «успешный» ряд слов, а спи-
сок «средней трудности» сменялся примерно таким же. Способность вспомнить слова не варьировалась случайным образом от списка к списку: в каждой сессии улучшения сменялись ухудшениями без видимой внешней причины.
Результаты эксперимента говорят о том, что способность к запоминанию в значительной степени движима, как выразились Кахана и соавторы, «эффективностью внутренне обусловленных нервных процессов, управляющих функциями памяти». Другими словами, сиюминутная вариативность эффективности работы мозга подвержена влиянию не только внешних факторов вроде погоды и отвлекающих помех. Это особенность работы самого мозга.
Велика вероятность того, что эта присущая функционированию мозга вариативность также влияет и на качество наших суждений, и, возможно, нам так и не удастся разобраться в механизмах этого влияния. Такая вариативность работы мозга должна заставить призадуматься всякого, кто считает, что от ситуативного шума можно избавиться. Аналогия с баскетболистом на штрафной линии не была настолько упрощенной, как могло показаться на первый взгляд: так же как мышцы спортсмена никогда не повторяют движения с абсолютной точностью, наши нейроны никогда не функционируют совершенно одинаковым образом. Если наш разум
– это измерительный прибор, то отнюдь не идеально точный. Однако мы должны попытаться взять под контроль нежелательные факторы, управлять которыми все же можно. Как
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/