- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
поводу у информации».
Оптимальный итоговый результат показал метод отбора. Частично его успех объясняется более умелым использованием информации. Суперпредсказатели лучше среднестатистических участников эксперимента владеют методами поиска значимых данных – либо за счет более острого ума, либо более сильной мотивации и богатого опыта в формировании прогнозов требуемого типа. Повторим: основным достижением метода отбора стало снижение шумового фона. Суперпредсказатели, в отличие от среднего прогнозиста или даже обученной команды, действительно производят меньше шума. Данный вывод также стал откровением для Сатопаа и других исследователей: «Суперпредсказатели, ве-
роятно, обязаны своим успехом287 более жесткой фильтрации возможных погрешностей оценки, нежели более внимательному чтению новостей». Очевидно, их среднестатистический коллега на такое не способен.
В каких случаях срабатывают методы отбора и обобщения
Успех проекта по выявлению суперпредсказателей подчеркивает значение двух стратегий гигиены принятия решений: стратегии отбора (суперпредсказатели действительно по праву носят приставку «супер») и стратегии обобщения (работая в команде, прогнозисты действуют более эффек-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
тивно). Обе стратегии широко применяются для вынесения суждений самого разного характера. Если ситуация позволяет, стратегии следует сочетать, создавая команды судей (в сферах прогнозирования, инвестиций или работы с персоналом), отобранных не только по принципу профессионализма, но и с учетом взаимодополняемости.
До сих пор мы обсуждали способы повышения точности, достигаемой усреднением множества независимых суждений, как, например, в случае экспериментов с концепцией «мудрости толпы». Агрегирование оценок экспертов высокой квалификации еще более способствует улучшению точности суждения. Дополнительного эффекта можно также добиться, сочетая оценку экспертов, которые будут работать
автономно и в то же время смогут дополнять друг друга288. Представьте себе ситуацию, когда четыре человека стали свидетелями преступления. Важно, конечно, не допустить взаимного влияния их показаний. При этом качество информации, которую они вам дадут, будет гораздо лучше, если они наблюдали за происшествием с четырех разных сторон.
Задача создания команды профессионалов, которой предстоит вынести суждение, подобна отбору комбинации тестов, способных спрогнозировать результаты деятельности ваших кандидатов (что в учебном процессе, что в профессиональной сфере). Стандартным инструментом решения такой задачи считается метод множественной регрессии, введенный нами в главе 9. Метод работает путем последователь-
ного отбора переменных. Первым выбирается тест, показавший наилучший прогнозный результат. Однако второе место в вашем арсенале необязательно займет тест со вторым по порядку итоговым баллом. Нет, второй тест должен дополнять прогностическую способность первого инструмента; его прогнозный потенциал должен соответствовать критериям достоверности и не быть избыточным по отношению к первому тесту. Приведем пример. Допустим, у вас имеется два сопоставимых теста измерения сообразительности, которые дают корреляцию 0,50 и 0,45 относительно будущих успехов кандидата. Третий тест (на выявление личностных характеристик) коррелирует лишь на 0,30 относительно потенциального успеха и совершенно не коррелирует с двумя другими тестами. Оптимальным решением станет комбинация первого теста с более высоким коэффициентом корреляции и третьего теста, который способен добавить к вашему заключению новую информацию.
Таким же образом, создавая команду судей, разумеется, в первую очередь необходимо пригласить лучшего кандидата. Однако вторым выбором вполне может стать отнюдь не человек с аналогичными способностями, а кандидат с более умеренным уровнем, который, тем не менее, привнесет в команду новый импульс. Команда, созданная на основе подобного критерия, покажет лучший результат, поскольку степень достоверности коллективного суждения растет быстрее, когда индивидуальные суждения не коррелируют, и медленнее в
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
ситуациях, когда их комбинация избыточна. Внутриэкспертный шум в такой команде будет достаточно высок, поскольку индивидуальные суждения по каждому вопросу варьируют. Парадоксально, но факт: «шумная» группа даст более точную среднюю оценку, чем та, что родилась в условиях полного единогласия.
Следует принять во внимание важную оговорку. Вне зависимости от степени разнородности оценок, агрегирование снизит шум лишь в том случае, если суждения действительно выносятся автономно. Как показали наши рассуждения о шуме в коллективах, групповые обсуждения скорее добавят ошибку за счет смещения, нежели снизят шум. Если организация по-настоящему стремится достигнуть разнообразия мнений, ей следует приветствовать дискуссию, зарождающуюся после независимого формирования суждений каждым из членов команды. Процесс идентификации и обобщения независимых, хотя и разнородных суждений часто оказывается наиболее простой, экономичной и популярной стратегией гигиены принятия решений.
К разговору об отборе и агрегировании
«Найдем среднее значение четырех суждений – так мы точно снизим шум в два раза».
«Следует стремиться к тому, чтобы стать вечной бета-вер- сией, подобно суперпредсказателям».
«Давайте начнем с поиска априорной вероятности, прежде чем приступить к обсуждению».
«У нас хорошая команда, и все же: как добиться большего разнообразия мнений?»
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
Глава 22 Методические рекомендации в медицине
Несколько лет назад одному из наших близких друзей (назовем его Пол) поставили диагноз: гипертония. Семейный врач (назовем его доктор Джонс) посоветовал Полу начать медикаментозное лечение и выписал мочегонное, однако улучшения не наступило; давление по-прежнему оставалось высоким. Через месяц Джонс назначил нашему другу еще один препарат – блокатор кальциевых каналов, и почти с тем же успехом.
Отсутствие результатов сбивало врача с толку. Через три месяца регулярных визитов к врачу показатели давления снизились очень незначительно и оставались выше нормы. Никто не понимал, что делать дальше. Пол был встревожен, доктор Джонс также не находил себе места от беспокойства,
втом числе и потому, что Пол – человек отменного здоровья, сравнительно молодой. Врач уже начал задумываться о назначении третьего препарата.
Так совпало, что Полу в это время пришлось переехать
вдругой город, где он обратился к местному врачу общей практики (назовем его доктор Смит). Пол рассказал ему историю продолжительной борьбы с гипертонией, на что док-
тор Смит сразу ответил: «Купите себе тонометр, посмотрим, какие показания у вас будут дома. У меня нет уверенности, что вы и в самом деле страдаете от высокого давления. Возможно, у вас просто синдром боязни врачей: давление повышается, как только вы переступаете порог клиники».
Пол так и поступил, и, разумеется, дома его показатели находились в пределах нормы. С тех пор никаких проблем не наблюдалось. Через месяц, после того как доктор Смит рассказал о «синдроме белого халата», давление у Пола перестало подниматься и при визитах к врачам.
Одна из основных задач медика – поставить диагноз, определить, действительно ли пациент болен, и если это так, то чем именно. Для того чтобы поставить диагноз, врачу, как правило, требуется вынести суждение. Чаще всего это процедура рутинная и даже механическая: существующие правила и процедуры помогают снизить шум. Обычно доктору не составляет труда диагностировать вывих плеча или перелом пальца. Примерно то же самое можно сказать и о технически более сложных случаях. Шум почти не повлияет на вра-
ча при определении дистрофии связочного аппарата289. При
поражении молочной железы врач оценит образец ткани290, взятый при биопсии, и сформулирует относительно четкое, практически «незашумленное» мнение.
Важно отметить, что некоторые диагнозы вообще не требуют вынесения суждений. Здравоохранение развивается, пытаясь исключить из диагностики элементы индивидуаль-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
ного мнения и заменяя его расчетами. Допустим, у вас болит горло. Вы обратитесь в клинику, где доктор сразу возьмет у вас мазок из горла и сделает экспресс-тест на антитела. Уже через несколько часов анализ покажет наличие стрептокок-
ка. Если подобный тест не сделать291, при диагностике возникнет шумовой фон (что, впрочем, возможно даже при наличии результатов анализа). Допустим, уровень сахара в вашей крови составляет 126 миллиграммов на децилитр или даже выше, либо ваш показатель гликогемоглобина держится на отметке 6,5 и больше. Вам наверняка диагностируют
диабет292. В самом начале пандемии вируса COVID 19 некоторые врачи, изучив симптомы, ставили диагноз на основании индивидуального суждения. По мере развития пандемии обычной практикой стала экспресс-диагностика, и необходимость в профессиональном суждении отпала.
Многие из нас в курсе, что врачи в процессе вынесения профессионального суждения не застрахованы от шума; значит, не исключены ошибки. Поэтому пациентам обычно со-
ветуют получить второе мнение293 – это общепринятый подход. В некоторых больницах второе мнение даже является обязательной практикой. Если второе мнение отличается от первого – значит, мы столкнулись с шумом. Правда, в подобных случаях не всегда понятно, который из врачей в итоге прав. Некоторые пациенты (в том числе и наш Пол) поражаются, понимая, насколько мнение второго врача отличается
от диагноза первого. Впрочем, само наличие шума в медицине нас удивлять не должно; проблема в его количестве.
Цель данной главы – разобраться в этом заявлении и описать некоторые подходы к снижению шумовых помех в медицине. Сосредоточимся на одной из стратегий гигиены принятия решений, а именно на развитии методических рекомендаций по диагностике. Мы прекрасно знаем, что о шуме в профессии медработника запросто можно написать целую книгу, включив в нее несколько глав о том, какие меры принимают врачи, медсестры и целые больницы для исправления ситуации. Отметим, что шум в медицине не ограничивается лишь процессом диагностики заболеваний, на котором мы сейчас остановимся. Шум проявляется и в процессе лечения; по этому поводу также существует обширная литература. Если пациент испытывает дискомфорт в области сердца, заключения врачей, назначающих лечение, пугающе варьируют относительно препаратов и методов хирургического вмешательства. Порой доктора расходятся во мнениях, требуется ли операция в принципе. Уже более двадцати
лет существует проект «Дартмутский атлас»294, фиксирующий вопиющие расхождения в распределении и использовании медицинских ресурсов в Соединенных Штатах. Подоб-
ные недочеты отмечены295 почти во всех странах мира. Наша цель, однако, состоит в кратком исследовании шума, присутствующего именно в медицинской диагностике. Полагаем, что данный пример вполне показателен.
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/