- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
эффектные иллюстрации. Помните, как выделяется на расплывчатом фоне яркая и тщательно прорисованная фигура? Наше внимание приковано к этой фигуре, даже если она ничтожно мала по сравнению с остальным изображением. Такие иллюстрации – удачная метафора нашему интуитивному восприятию смещения и шума: смещение – это яркая фигура, а шум – всего лишь фон, на который мы не обращаем внимания. Вот почему мы так долго оставались в неведении относительно существенного недостатка наших суждений.
К разговору об источниках шума
«Мы легко замечаем разницу в средних показателях по вынесенным решениям, но насколько велик внутриэкспертный шум, которого мы не видим?»
«По вашим словам, на эту оценку повлияли предубеждения. А сказали бы вы то же самое при ином исходе? И как узнать, что это не шум?»
«Мы приняли правильное решение целенаправленно бороться с искажениями. Так давайте же не забывать и о шуме».
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
Часть V Улучшение качества суждений
Как компании улучшить качество суждений своих сотрудников? Как снизить, в частности, уровень шума, влияющего на суждения? Что предприняли бы вы, случись вам искать ответы на подобные вопросы?
Первым делом следует довести до компании мысль о том, что устранение шума – тема, заслуживающая всяческого внимания. Начнем с рекомендации осуществить ревизию шумовых помех (подробное описание мы приведем в Приложении 1). В ходе подобной ревизии множество людей должно вынести свое суждение в отношении одной и той же проблемы, и вариативность мнений расскажет нам об уровне шумового фона. Вы столкнетесь с рядом случаев, когда вариативность объясняется некомпетентностью некоторых сотрудников, плохо представляющих себе, о чем речь. При наличии такого разрыва в уровне профессиональной квалификации экспертов (глобально либо в конкретных вопросах) вашей основной задачей станет восполнение недостаточной компетентности. Однако порой суждения опытных и должным образом подготовленных профессионалов также выносятся под существенным давлением шумовых помех.
Если уровень системного шума явно заслуживает внима-
ния, стоит задуматься о замене индивидуальных оценок сводом правил или алгоритмом, что позволит полностью исключить шумовой фон. В то же время использование свода правил также имеет недостатки (о чем мы поговорим в части VI), и самые убежденные сторонники искусственного интеллекта согласятся, что алгоритмы пока не стали (и вряд ли станут в ближайшем будущем) универсальной заменой человеческому разуму. Сегодня задача улучшения качества суждений стоит как никогда остро, и в данной части книги мы обсудим пути ее решения.
Одной из самых разумных стратегий на данном пути представляется выбор «лучшего судьи». Так, некоторые стрелки` достигают выдающейся меткости. То же самое справедливо в отношении профессиональных суждений: наиболее умелый специалист будет менее всего подвержен воздействию шумовых помех и менее склонен к смещению. Как выбрать лучшего? Порой ответ очевиден: решая шахматную задачку, обратитесь за помощью к гроссмейстеру, ибо авторы данной книги в шахматах вам советом не помогут. Тем не менее существует огромное количество сценариев, когда трудно определить, какими именно качествами следует обладать «лучшему судье», на чем мы и остановимся подробно в главе 18.
Далее мы обсудим подходы к снижению количества ошибок при вынесении суждений. Искажения психологического характера подразумевают как смещение, так и шум, и в главе
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
19 мы расскажем о многочисленных попытках противостоять подобным явлениям. Часть попыток окончилась откровенной неудачей, другим же сопутствовал явный успех. Мы сделаем краткий обзор стратегий, применяемых для устранения искажений, и предложим перспективную модель, которая, насколько нам известно, пока систематически не исследовалась. Наша идея заключается в привлечении сторон-
него наблюдателя за процессом принятия решений, задача которого выявлять в режиме реального времени признаки влияния на работу группы одного или сразу нескольких заранее известных видов искажений. В Приложении 2 мы приведем примерный чек-лист, которым и будет руководствоваться наш наблюдатель.
Затем перейдем к борьбе с шумовыми помехами – основной теме данной части книги – и введем понятие гигиены принятия решений – метода, рекомендованного для снижения шумового компонента в человеческих суждениях. Читателю будут предложены исследования в пяти различных областях. В каждой из них мы изучим распространенные виды шума и приведем пугающие примеры его воздействия. Остановимся на некоторых историях с успешным финалом, не забудем и провальные случаи. Разумеется, в любом из приведенных примеров использовались комплексные подходы, однако в целях упрощения нашего рассказа в каждой из глав речь пойдет о конкретной стратегии гигиены принятия решений.
Глава 20 начнется с анализа одной из ситуаций в области криминалистики, значимой с точки зрения управления
последовательностью информационных потоков. В поис-
ках когерентности участники процесса нередко формируют предварительные впечатления в условиях ограниченной информации, а затем ищут подтверждение заранее сложившемуся мнению. Именно поэтому не следует попадать под влияние не относящейся к делу информации на ранних стадиях оценивания.
В главе 21 мы обратимся к прогнозированию с целью подтверждения значимости важнейшей стратегии снижения –
агрегации (обобщению) некоторого количества независимых мнений. Известный принцип «мудрости толпы» основан на среднем арифметическом множества отдельных суждений, что гарантированно позволяет снизить уровень шума. Помимо обычного усреднения существуют и другие методы обобщения, о которых мы расскажем на конкретных примерах.
В главе 22 приведен обзор шумовых помех в области медицины и мер, используемых для их снижения. Еще раз остановимся на значимости и общих принципах применения одной из стратегий снижения шума – методических рекомен-
дациях по вынесению суждения , – о которых мы упоминали применительно к вынесению приговоров. Методические рекомендации могут стать эффективным механизмом подавления шума, оказывая непосредственное влияние на снижение межэкспертной вариативности окончательных оценок.
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
В главе 23 мы рассмотрим известную проблему в области менеджмента: оценку эффективности работы персонала. Попытки снижения шума в данной сфере еще раз подтверждают исключительную актуальность применения об-
щей шкалы оценки, основанной на взгляде со стороны. По-
добный подход представляет собой важную стратегию гигиены принятия решений по одной простой причине: первое впечатление транслируется на шкалу оценки, оказывая давление на итоговое мнение. Если у каждого из судей своя шкала, возникновение шума неизбежно.
Глава 24 посвящена изучению смежного и в то же время самостоятельного процесса – подбору персонала. Исследования в этой области проводятся на протяжении нескольких десятилетий. Здесь мы подчеркнем важность еще одной стратегии гигиены принятия решений, а именно струк-
турирования комплексных суждений . Под структурировани-
ем мы понимаем разложение суждения на отдельные составляющие и управление сбором информации. Следует обеспечить независимость каждого из компонентов, а также отсрочку всестороннего обсуждения и формирования окончательного мнения до тех пор, пока не будут собраны все компоненты.
В 25-й главе, опираясь на опыт, полученный в области подбора кадров, мы сформулируем общий принцип оценки выбора: так называемый протокол промежуточных оценок
(MAP). Начнем со стартовой точки – допущения: «каждый
вариант подобен кандидату». Далее опишем метод в виде схемы, поясняющей, каким образом структурирование суждений (а также иные стратегии гигиены) вводится в типичный процесс согласования типовых и уникальных решений.
До начала обсуждения приведем соображение общего плана: чрезвычайно полезно определить (в том числе и в количественном выражении) возможные выгоды каждой стратегии применительно к различным ситуациям. Важно сравнить стратегии и понять, какая из них наиболее эффективна. До какой степени мы снизим шумовой фон, управляя потоками информации? Если наша цель заключается в максимальном подавлении шума, какое именно количество суждений нам следует обобщить? Структурирование суждений
– отличное решение, и все же: какова его ценность в различных ситуациях?
Тема шумовых помех до сих пор не привлекала серьезного внимания, поэтому остается большое количество открытых вопросов, которые в конце концов придется изучить. Для практика преимущества той или иной стратегии будут зависеть от конкретного контекста, в котором она применяется. Возьмем хотя бы методические рекомендации: порой их выгода неоценима (например, в области диагностики некоторых заболеваний). В иных же случаях (когда уровень шума и так низок, либо в ситуациях, где даже лучшие рекомендации не смогут нивелировать вероятность ошибки) их эффект станет весьма скромным. Все зависит от об-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
стоятельств, однако человек, принимающий решения, обязан стремиться к максимальному пониманию потенциальных выгод каждой стратегии и представлять себе присущие им издержки. Данные вопросы мы изучим в части VI.