- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
бок является шум, и в первую очередь шум ситуативный. Аналитик не всегда может прийти к внутреннему консенсусу. Влияние межэкспертного шума также велико: прогнозисты далеко не всегда соглашаются с коллегами, хотя все они – профессионалы в своем деле. Попроси`те профессоров юриспруденции спрогнозировать, как Верховный суд разрешит тот или иной вопрос права269, и в их мнениях обнаружится большое количество шума. Предложи`те специалистам определить количественные выгоды применения зако-
нодательства о загрязнении воздуха270 – и здесь вы столкнетесь с широким разбросом оценок в диапазоне от 3 до 9 миллиардов долларов США. Не меньшая вариативность выявится и в прогнозах группы экономистов по поводу уровня безработицы и экономического роста. Мы приводили мно-
жество примеров271 «зашумленных» прогнозов, а дополнительные исследования выявляют еще больше шума.
Улучшение качества прогнозов
Исследователи предлагают различные варианты стратегий снижения шума и смещения. Мы не будем приводить на страницах книги глубокий анализ, сосредоточившись в основном на двух методах, получивших широкое распространение. О первом из них – принципе «лучший судья – лучшее решение» – мы уже рассказывали в главе 18. Второй метод является одной из универсальных стратегий гигиены приня-
тия решений: агрегирование (обобщение) множества независимых суждений.
Проще всего обобщить несколько прогнозов, вычислив их среднее значение. Усреднение с точки зрения математики гарантирует снижение шумового фона. В данном случае мы говорим об извлечении квадратного корня из общей суммы усредняемых суждений. Подобное действие означает, что, усреднив сотню суждений, мы снизим шум на 90 %, а если в выборку входит четыреста суждений, шум снизится уже на 95 %, то есть будет фактически подавлен. Данная статистическая закономерность является движущей силой подхода «мудрость толпы», который мы обсудили в главе 7.
Вычисление средней величины само по себе не снизит смещение. Влияние данного метода на общую погрешность (среднеквадратическую ошибку) зависит от конкретных пропорций шума и смещения в такой ошибке. Именно поэтому принцип «мудрости толпы» лучше всего срабатывает, когда имеешь дело с рядом независимых суждений, с меньшей вероятностью подверженных коллективному искажению. Эмпирически доказано, что усреднение большого
числа прогнозов272 существенно повышает точность итогового результата. Например, так формируется консенсус-про- гноз аналитиков фондового рынка. Будь то прогноз объема продаж, прогноз погоды или экономический анализ: невзвешенная средняя величина некоторого количества мнений
превосходит в точности большинство273, а иногда и все ин-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
дивидуальные прогнозы. Различные методы усреднения дают один и тот же результат: эмпирическое сравнение данных в тридцати различных областях позволило установить, что комбинированный прогноз снижает вероятность ошибки в
среднем на 12,5 %274.
Простое нахождение среднего арифметического – не единственный способ обобщить значения прогнозов. Стра-
тегия направленного выбора человека из толпы275 позволя-
ет выделить лучших экспертов, руководствуясь точностью их недавних суждений, и найти среднее значение суждения небольшого коллектива (например, пяти человек). Подобный метод не менее эффективен, чем простое среднее арифметическое. Если человек, отвечающий за принятие решения, предпочитает полагаться на мнение компетентных судей, ему будет легче понять и принять стратегию, опирающуюся не только на обобщение мнений, но и на выбор лиц, их генерирующих.
Одним из методов подготовки обобщенного прогноза стало использование виртуальных рынков предсказаний – сообществ людей, заключающих пари на вероятный исход того или иного события, что дает им стимул для вынесения верной оценки. В основном такие объединения достаточно эф-
фективны276: если рынок предсказаний полагает, что событие произойдет с вероятностью 70 %, то примерно в семидесяти случаях из ста оно действительно происходит. Многие
компании различных отраслей промышленности пользуют-
ся информацией, поступающей с рынка предсказаний277 для обобщения различных точек зрения.
Другим общепринятым подходом обобщения некоторо-
го множества взглядов стал известный метод «Дельфи»278. В классическом понимании данный способ подразумевает несколько этапов, в ходе которых участники анонимно направляют свои оценки (либо результаты голосования) организаторам. На каждом новом этапе участники (по-прежне- му анонимно) предоставляют обоснования своих оценок и рассматривают точки зрения других экспертов. Метод дает возможность сузить расхождение мнений, требуя, чтобы новые суждения, формирующиеся участниками в следующем раунде, не выходили за диапазон, сложившийся по результатам раунда предыдущего. Метод «Дельфи» выигрывает за счет сочетания агрегирования с социальным научением.
Данная методика хорошо срабатывает во многих ситуациях, однако довольно сложна в реализации279. Существует
упрощенная вариация – «Мини-Дельфи»280, предполагающая обработку мнений в течение единственной встречи экспертов. Эта версия также описывается формулой «оценка – обсуждение – повторная оценка». Основным ее требовани-
ем к участникам стало вынесение индивидуальной оценки (без предварительного обсуждения) с ее последующим объяснением и обоснованием. Второй этап заключается в мо-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/