- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
Суждения
В контексте данной книги не следует смешивать термины «суждение» и «мышление». Суждение – понятие более узкое и является формой измерения, инструментом для которого служит человеческий разум. Подобно иным методам измерения, суждение дает оценку объекту, однако данная оценка необязательно выражается количественно. «У Мэри Джонсон, вероятно, доброкачественная опухоль». Это суждение, равно как и утверждения вроде «национальная экономика крайне нестабильна», «Фред Уильямс – лучшая кандидатура на должность нового менеджера» или «страховая премия для покрытия риска составит 12 000 долларов». Для вынесения суждения мы соединяем в уме различные фрагменты информации, получая на выходе итоговую оценку. Это не вычислительный метод, и точных правил для вынесения суждения не существует. Учитель формулирует суждение, выставляя отметку за эссе, однако при оценке многовариантных тестов использует иные методы.
Многие люди зарабатывают на жизнь вынесением профессиональных суждений, которые сказываются на нас с вами. Кто такие «профессиональные судьи»? Это, например, футбольные арбитры и кардиологи, юристы и инженеры, голливудские продюсеры и оценщики страховых рисков. Мы уделили большое внимание профессиональным судьям на
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
страницах данной книги, во первых, потому, что их деятельность хорошо изучена, во вторых, каждый из таких экспертов оказывает на нас огромное влияние. Полагаем, что ту информацию, которую мы привели на страницах книги, вполне можно использовать для изучения суждений в самых разных сферах нашей жизни.
Некоторые суждения носят предиктивный характер, и порой в их точности можно удостовериться. Рано или поздно мы поймем, насколько они точны. В основном это касается краткосрочных прогнозов – например, относительно действия лекарственных препаратов, течения пандемии или итогов выборной кампании. Однако многие суждения, в том числе долгосрочные прогнозы и ответы на теоретические вопросы, проверке не поддаются. Качество подобных суждений можно оценить, лишь составив мнение о качестве мыслительных процессов, которые и привели к итоговому суждению. Более того, многие суждения носят не предиктивный, а оценочный характер: приговор, вынесенный судьей, или оценку картины, представленной на конкурс, не так легко сопоставить с истинным значением.
Поразительно, но люди, выносящие суждения, ведут себя так, словно существует эталон, с которым можно сравнить их оценку, даже если никакого эталона нет. Они мыслят и действуют так, будто перед ними невидимое «яблочко» мишени, по которому невозможно промахнуться. Говоря о субъективной оценке, мы подразумеваем одновремен-
но и возможность несогласия, и ожидание ее ограниченного характера. Таким образом, любое суждение характеризуется ожиданием ограниченных разногласий, занимая промежуточное место между оценкой, полученной путем вычисления, когда несогласие не допускается, и мнением, о котором мы скажем: «дело вкуса». Последнее почти не предполагает согласия – разве только в исключительных случаях.
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
Ошибки: смещение и шумовые помехи
Мы говорили, что смещение возникает в тех случаях, когда ошибки в некотором количестве суждений совершаются в одном и том же направлении. Смещение – это «средняя погрешность», как, например, в эпизоде со стрелкáми, регулярно попадающими в область ниже и левее цели. Подобная «средняя погрешность» может возникать при слишком оптимистическом общем годовом прогнозе продаж или в случае, когда компания продолжает реинвестировать деньги в уже несостоятельный проект, тогда как вложения давно следует списать на убытки.
Устранение смещения из множества суждений не приведет к полному устранению ошибок, и те ошибки, которые останутся, не будут смещены в одном направлении. Они свидетельствуют о нежелательном расхождении мнений и ненадежности инструментов измерения, применяемых к реальности. Они-то и называются шумом. Шум – это вариативность суждений, которые в идеале должны быть идентичными. Мы также используем термин системный шум для определения помех, отмеченных в компаниях, которые нанимают взаимозаменяемых специалистов для принятия решений: врачей в пунктах экстренной помощи, судей, выносящих приговор преступникам, и оценщиков рисков в стра-
ховой компании. Существенная часть данной книги посвящена системному шуму.
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/