- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
Большинство людей, столкнувшись с подобным типом проблем, пробегают глазами каждую строку и выдают немедленный ответ, зачастую после подсчета в уме среднего количества баллов. Если вы поступите так, то, вероятно, сделаете вывод, что Натали является более сильным кандидатом: она получила на 1–2 балла больше Моники.
Суждение или формула?
Ваш неформальный подход к данной проблеме известен как клиническое суждение . Вы обдумываете информацию, возможно, производите быстрые вычисления, сверяетесь со своей интуицией и выносите вердикт. По сути, в данной книге мы называем просто суждением именно клиническое суж-
дение.
Теперь предположим, вы решали задачу по прогнозированию как участник эксперимента. Моника и Натали были выбраны из базы данных, включающей сотни менеджеров, принятых на работу несколько лет назад, которым присвоили рейтинги по пяти независимым параметрам. На базе этих рейтингов вы спрогнозировали эффективность их работы. Показатели трудовой деятельности менеджеров в новой должности в настоящее время доступны. Насколько близки эти показатели к вашей клинической оценке?
Данный пример представлен на основе реальных иссле-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
дований прогнозирования эффективности95 работы персонала. И будь вы участником исследования, вас, вероятно, не удовлетворил бы результат. Дипломированные психологи, привлеченные международной консалтинговой фирмой для этой работы, получили корреляцию 0,15 с реальной производительностью (ПС=55 %). Другими словами, когда они аттестовали одного из кандидатов как более сильного – как и мы на примере Моники и Натали, – то вероятность того, что выбранный кандидат показал бо́льшую эффективность оказалась 55 %, что практически не точнее, чем при случайном выборе. Результат, мягко говоря, не впечатляет.
Возможно, вы объясните столь низкую точность тем, что данные рейтинги не подходят для прогнозирования. Тогда мы должны задаться вопросом: а много ли полезной для прогнозирования информации действительно содержат рейтинги кандидатов? Как они могут обусловить индекс предсказания, который будет иметь максимально возможную корреляцию с фактическим результатом?
На эти вопросы можно ответить стандартными статистическими методами. В представленном исследовании они добиваются оптимальной корреляции 0,32 (ПС=60 %) – что также не впечатляет, однако существенно выше, чем клиническая оценка.
Такая техника, называемая множественной регрессией,
определяет показатель, являющийся взвешенным средним 96 прогностических факторов. С ее помощью вычисляется
оптимальный набор весовых коэффициентов, призванный максимизировать корреляцию между общим прогнозом и целевой переменной. Оптимальные коэффициенты минимизируют MSE (среднеквадратическую ошибку) прогнозов
– отличный пример доминирующей роли метода наименьших квадратов в статистике. Как можно ожидать, прогностический фактор, наиболее сильно коррелирующий со значением целевой переменной, получает больший коэффици-
ент97, а наиболее бесполезный получает коэффициент, равный нулю. Коэффициент может быть и отрицательным: количество неоплаченных штрафов за нарушение правил дорожного движения как фактор управленческого успеха, по всей вероятности, получит отрицательный коэффициент.
Использование множественной регрессии – один из при-
меров механического прогнозирования . Есть много видов ме-
ханического прогнозирования, в диапазоне от простых правил («нанять любого, кто окончил среднюю школу») до сложнейших моделей с привлечением искусственного интеллекта. Однако линейные регрессивные модели (их еще назы-
вают «рабочими лошадками98 исследований в области оценок и принятия решений») получили наибольшее распространение. Чтобы сократить количество профессионального жаргона в книге, мы будем называть линейные модели про-
стыми моделями.
Исследование, которое мы проиллюстрировали на примере Моники и Натали, было одним из многих сопоставлений
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
клинического и механического прогнозирования. Все они отличаются простой структурой99:
для прогнозирования конечного результата (эффективность работы одних и тех же людей) используется набор переменных (в нашем случае рейтинг кандидатов);
клиническое прогнозирование выполняют люди;
алгоритм (например, множественная регрессия) использует те же прогностические факторы для механического прогнозирования тех же результатов;
сравнивается точность клинического и механического прогнозирования.
Пол Мил: оптимальная модель одерживает над вами верх
Знакомясь с клиническим и механическим прогнозированием, люди хотят знать, как их сравнивать. И как выглядит прогноз, сделанный человеком, на фоне вычисленного по формуле?
Такой вопрос задавался и ранее, однако наибольшее внимание привлек к себе лишь в 1954 году, когда профессор психологии Университета Миннесоты Пол Мил опубликовал книгу «Клинический и статистический прогнозы: теоре-
тический анализ и фактологический обзор»100. Мил пред-
ставил обзор двадцати исследований в сфере высшего образования и в психиатрической диагностике, где клинические оценки противопоставлялись механическим прогнозам. Он пришел к однозначному выводу, что простые механические правила в большинстве случаев одерживают верх над экспертами. Мил обнаружил – практикующие врачи и профессионалы в других областях удручающе слабы в том, что сами нередко считают своей особенно сильной стороной, а именно в способности обобщать информацию.
Чтобы понять, насколько поразительны эти открытия и при чем здесь шум, следует разобраться в работе простой механической модели. Ее ключевая характеристика состоит
втом, что одно и то же правило применимо ко всем случаям. Каждый прогностический фактор имеет свой вес, и этот вес одинаков для каждого случая. Вы можете подумать, что столь строгие ограничения ставят модель в крайне невыгодное положение по отношению к экспертам. Вернемся к нашему примеру. Возможно, вы решите, что для Моники сочетание ее мотивации и технических навыков является самым важным качеством и компенсирует ее недостаточность
вдругих областях, в то время как слабость Натали по этим двум параметрам не станет серьезной проблемой с учетом ее сильных сторон. Неявным образом вы уже определили для двух женщин разные средства достижения успеха. Эти вполне убедительные клинические теории по сути присваивают
вдвух случаях различный вес одному и тому же фактору –
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
ухищрение, на которое неспособна простая модель.
Другое ограничение простой модели – разница в 1 единицу для какого-либо предиктора всегда дает одинаковый эффект (и половинный эффект при разнице в 2 единицы). Клиническая интуиция часто нарушает это правило. Если, к примеру, вас впечатлил полученный Натали высший балл 10 за коммуникативные навыки и в значительной степени повлиял на ее репутацию в ваших глазах, вы сделали то, чего никогда не сделает простая модель. А для формулы, которая рассчитывает средневзвешенное значение, разница между 10 и 9 баллами – то же самое, что разница между 7 и 6 баллами. Клиническая оценка не подчиняется этому правилу. Напротив, она отражает распространенное интуитивное мнение: разница в 1 балл может быть несущественной в одних случаях и критической в других. Возможно, вам захочется это проверить, однако мы подозреваем, что ни одна простая модель не сможет точно объяснить ваши оценки Моники и Натали.
Исследование, на которое мы опирались для этих случаев, – один из очевидных примеров схемы Мила. Как мы заметили ранее, клинические прогнозы достигают корреляции 0,15 (ПС=55 %) при оценке эффективности работы кандидатов, а механические прогнозы – 0,32 (ПС=60 %). Вспомните, с какой уверенностью вы сравнивали оценки, полученные при тестировании Моники и Натали. Результаты Мила настойчиво указывают, что ваша удовлетворенность право-
той своих суждений была иллюзией, а точнее, иллюзией до-
стоверности.
Иллюзия достоверности присутствует в любых прогнозах и возникает вследствие распространенной ошибки, когда люди не различают два этапа задачи прогнозирования: количественные оценки на основании имеющихся в распоряжении фактов и прогнозирование реальных результатов. Зачастую вы можете быть абсолютно уверены в своем мнении, какой из кандидатов выглядит более достойным, однако догадаться, который из них действительно окажется лучшим
– совершенно другое дело. Например, можно с уверенностью заявлять, что Натали выглядит более сильным кандидатом, чем Моника, однако никак нельзя утверждать, что Натали будет работать более успешно. Причина лежит на поверхности: вам известно достаточно много, чтобы дать оценку кандидатам, однако заглянуть в будущее вам не дано.
К сожалению, в нашем сознании граница размывается. Вы озадачены тем, что не видите разницу между количественной оценкой и прогнозированием? Поздравляем, вы в отличной компании: эту разницу не видит практически никто. А если вы уверены в своих прогнозах так же, как и в оценках, вы стали жертвой иллюзии достоверности.
От иллюзии достоверности не застрахованы и клиницисты. Можно с уверенностью представить себе реакцию психолога на выводы Мила о том, что тривиальные формулы, последовательно примененные, превосходят клиниче-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
ские оценки. Шок, недоверие, презрение к поверхностным исследованиям, авторы которых вздумали усомниться в чудесах клинической интуиции. Подобную реакцию легко понять: схема Мила противоречит субъективному восприятию, а большинство из нас скорее доверится собственному опыту, чем всяким наукообразным заявлениям.
Мил сам неоднозначно относился к своим выводам. Его имя ассоциируется с превосходством статистики над клиническими оценками, и можно представить Мила непреклонным критиком внезапных озарений или крестным отцом количественного анализа, как мы сказали бы сейчас. Однако этот образ был бы карикатурным. Мил, помимо своей академической карьеры, работал как практикующий психоанали-
тик. В его кабинете висел портрет Фрейда101. Он был энцик-
лопедистом102; кроме психологического, получил философское и юридическое образование, писал статьи по метафизике, религии, политическим наукам и даже парапсихологии. (Мил настойчиво утверждал, что «в телепатии что-то есть».) Ни одно из этих человеческих качеств не соответствует стереотипу упертого бухгалтера. Мил ничего не имел против клиницистов – скорее наоборот. Однако когда он задался целью, доказательства преимуществ механического подхода к задаче были «массивными и последовательными».
«Массивными и последовательными»103 – это еще мягко сказано. Две тысячи статей 104 по результатам 136 исследова-