- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
спективах Майкла Гамбарди мы рекомендовали привязать вашу оценку вероятности успехов Майкла к релевантной априорной вероятности (проценту назначенных на должность руководителей, которые в течение двух лет остаются на посту). В случае количественных прогнозов (средний балл Джули)«взгляд со стороны» рекомендует привязку к усредненному значению. «Взгляд со стороны» можно игнорировать только для очень простых задач, когда доступная информация позволяет дать прогноз с полной уверенностью. А вот в серьезных случаях «взгляд со стороны» может стать частью решения.
Шум в сравнительных прогнозах: пределы абсолютных оценок
Наша ограниченная способность распознавать категории на шкалах интенсивности приводит к неточности сравнений. Такими словами, как «большой» или «богатый», обозначаются одинаковые отметки на шкалах при измерении размеров или уровня дохода. Вот и потенциально важный источник шума.
Женщина, которая уходит на пенсию с поста инвестиционного банкира, уверенно заслуживает отметку «богатая», однако насколько она богата? В языке есть много слов: со-
стоятельный, обеспеченный, зажиточный, небедный, су-
пербогатый и так далее. Если вам предоставить подробные
характеристики уровня доходов отдельных людей и попросить закрепить за каждой из этих характеристик свое определение, то сколько категорий вы создадите, не прибегая к детальным сравнениям между ними?
Количество категорий, которые мы можем распознать на шкале интенсивности, вынесено в заглавие классической
статьи по психологии «Магическое число семь169 плюс-ми- нус два», опубликованной в 1956 году. За пределами этого лимита люди начинают делать ошибки – например, присваивать параметру А более высокую категорию, чем параметру Б, в то время как при сравнении только А с Б оценивают Б выше.
Представьте себе четыре линии разной длины в диапазоне от двух до четырех дюймов, причем каждая линия длиннее следующей на одинаковый отрезок. Вам поочередно показывают линии, после чего вы должны присвоить им номера от 1 до 4: от самой короткой до самой длинной. Простое задание, не правда ли? А теперь представьте, что вам показывают пять линий разной длины и вы должны присвоить им номера от 1 до 5. Это по-прежнему просто. Когда вы начнете ошибаться? Когда количество линий достигнет магического числа семь! Удивительно, но это число мало зависит от диапазона, в котором находятся длины линий: если он составляет от двух до шести дюймов (вместо от двух до четырех), вы точно так же начнете ошибаться, когда количество линий превысит семь. То же самое происходит, если вам демонстрируют
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
звуки различной громкости или вспышки света различной яркости. Вот истинный предел способности человека однозначно распределять по категориям размерные величины, и этот предел – около семи категорий.
Предел нашей разрешающей способности имеет большое значение, потому что умение сопоставлять параметры с категориями на шкале интенсивности не может превосходить наше умение присваивать значения этим параметрам. Процесс сопоставления является универсальным, хотя и довольно грубым инструментом быстрой Системы 1, а также ядром многих интуитивных оценок.
Магическое число не является абсолютным. Тренированный человек способен на более точное распределение по иерархическим группам. Например, мы можем отчетливо выделить несколько категорий среди мультимиллионеров по стоимости их активов, а судьи могут классифицировать преступления по степени тяжести в каждой из множества категорий, в свою очередь упорядоченных по серьезности. Тем не менее, чтобы этот процесс работал, категории должны заведомо существовать в четко определенных границах. В процессе присвоения линиям номеров в зависимости от длины вам не придет в голову разделить более длинные и более короткие на две различные категории. В режиме быстрого мышления процесс классификации сознательно не контролируется.
Есть способ преодолеть ограниченность разрешающей
способности шкал: вместо абсолютных значений использовать сравнения. Мы намного лучше умеем сравнивать оценки, чем размещать их на шкале.
Как вы поступите, если вам потребуется дать оценку большому количеству ресторанов или певцов по двадцатибалльной шкале? Конечно, с пятибалльной шкалой работать проще, а обеспечить идеальную достоверность с двадцатибалльной невозможно. (Легко присвоить «Пиццерии Джо» три звезды, но как сделать выбор между одиннадцатью или двенадцатью?) Есть простое, хотя и отнимающее много времени решение. Для начала распределяем рестораны или певцов по пяти категориям, оценивая их по пятибалльной шкале. Затем ранжируем их внутри каждой категории, что обычно не должно составлять труда: вы прекрасно знаете, кого предпочтете: «Пиццерию Джо» или «Бургеры Фреда», Тейлор Свифт или Боба Дилана, хотя и определили их в одну категорию. Чтобы облегчить задачу, проще выделить четыре уровня внутри каждой категории. Теперь можно отсортировать по степени неприязни даже тех исполнителей, которых вы не любите.
Психология данного упражнения очевидна. Банальное сравнение между подлежащими оценке объектами способствует более точной классификации, чем присвоение рейтинга каждому объекту по отдельности. То же самое и с оценкой длины линий: ваша способность последовательно сравнивать их длины намного лучше, чем способность рас-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
пределять по категориям; а если вам покажут две линии одновременно, точность будет еще выше.
Преимущество сравнительных оценок распространяется на многие области применения. Если у вас есть грубое представление о состоятельности разных людей, лучше сравнивать их в пределах одной категории, чем оценивать каждого в отдельности. Если вы проверяете школьные сочинения, более целесообразно разложить их по порядку от лучшего к худшему, чем читать и оценивать каждое. Сравнительные оценки более точны, чем категорические или абсолютные. Как показали вышеприведенные примеры, они также более трудоемки и требуют бо́льших затрат времени.
Оценка каждого объекта в отдельности по шкалам, однозначно принадлежащим к сравнительным, сохраняет некоторые преимущества сравнительных оценок. В некоторых ситуациях, особенно в образовании, в рекомендациях для кандидатов на зачисление или повышение в должности часто требуется поместить кандидата в «топ 5 процентов» или «топ 20 процентов» определенной группы, например «студентов вашего курса» или «программистов с одинаковым опытом работы». Эти рейтинги редко заслуживают того, чтобы принимать их всерьез, потому что бессмысленно ожидать корректного применения шкалы от того, кто дает характеристику. А вот в других ситуациях это небесполезно: когда менеджеры оценивают сотрудников или когда аналитики просчитывают инвестиции, кандидат, которого 90 % экспертов