- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
Ее корреляция с конечным результатом118 составляет 0,25 (ПС=58 %), что намного превосходит клинические оценки (r=0,15, ПС=55 %) и уверенно приближается к регрессивной модели с перекрестной проверкой. При этом вам не требуется никаких дополнительных данных, которых у вас нет, и никаких сложных вычислений.
Действительно, в равных весах есть «грубая красота»119
– недаром высказывание Доуза стало мемом среди студентов. Заключительная фраза знаменитой статьи, которая ввела в обиход идею, содержала очередное лаконичное резюме:
«Вся хитрость в том120, чтобы выбрать нужные переменные и правильно их сложить».
Еще больше простоты: простые правила
Еще один способ упрощения – использование экономных моделей, или простых правил. Экономные модели в реальности выглядят как упрощенные до смешного расчеты на клочке бумаги. Однако в некоторых случаях они могут выдавать поразительно точные результаты.
Эти модели построены на одной особенности множественной регрессии, которая удивляет большинство людей. Допустим, вы используете два прогностических фактора, от которых в значительной степени зависит итоговый прогноз, – их корреляция с конечным результатом составляет
0,60 (ПС=71 %) и 0,55 (ПС=69 %). Предположим также, что
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
эти два прогностических фактора коррелируют друг с другом (коэффициент 0,50). Попробуйте угадать, каков будет ваш прогноз, если два фактора будут в оптимальном соотношении? Ответ вас разочарует: корреляция 0,67 (ПС=73 %). Выше, однако совсем ненамного.
Пример иллюстрирует общее правило: сочетание двух и более коррелирующих между собой прогностических факторов дает лишь немногим более удачный результат, чем лучший из них сам по себе. Именно потому что в реальной жизни факторы почти всегда коррелируют между собой, этот статистический факт способствует применению на практике экономных методов с малым числом предикторов. Простые правила, которые требуют небольшого числа расчетов или обходятся вообще без них, давали в некоторых случаях впечатляюще точные прогнозы, сравнимые с моделями на основе большего количества предикторов.
В 2020 году команда исследователей121 подвела итоги масштабных усилий по применению экономных методов к различным задачам; например, когда судьи встают перед выбором – освободить обвиняемых под залог до вынесения приговора или нет. Их решение, по сути, является прогнозированием поведения обвиняемого. Если судья неоправданно откажет в залоге и обвиняемого отправят за решетку без необходимости, то конкретный человек и общество понесут значительные издержки. Если же под залог отпустят не того, он может скрыться или даже совершить другое преступ-
ление.
Модель, построенная исследователями, использует всего две переменных, от которых наиболее сильно зависит вероятность, что обвиняемый скроется от суда: его возраст (чем старше человек, тем меньше риск побега) и количество прошлых неявок в суд (те, кто нарушал условия освобождения ранее, склонны к рецидивам). Модель переводила эти переменные в баллы, на основании которых и рассчитывался фактор риска. Для этого не требовался компьютер и даже калькулятор.
Протестированная на реальном массиве данных, экономная модель выполнила свою задачу так же хорошо, как статистические модели с использованием значительно большего числа переменных. Она прогнозировала риски лучше, чем это делали практически все судьи.
Те же самые экономичные методы, использующие до пяти параметров с целочисленными весами (от -3 до +3), были применены к разнообразным задачам, таким как оценка степени опасности новообразований по результатам маммографии, диагностике сердечно-сосудистых заболеваний, прогнозированию кредитных рисков. Во всех этих задачах экономные правила показали себя так же хорошо, как более сложные регрессивные модели (хотя в большинстве случаев не так хорошо, как модели на основе методов машинного обучения).
В качестве другой демонстрации возможностей простых
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
правил отдельная команда исследователей 121а изучала сходную, хотя и более специфическую судебную задачу: прогноз
рецидивизма. Используя всего две переменных122, простые правила оказались способны поспорить с надежностью существующих инструментов, которые использовали 137 переменных, чтобы оценить риски для каждого подсудимого. Неудивительно: эти две переменных (возраст и количество ранее совершенных преступлений) близки к двум факторам в примере с освобождением под залог, и их связь с преступ-
ным поведением широко документирована123. Привлекательность экономных методов состоит в том, что
они прозрачны и просты в исполнении. Более того, они имеют преимущество перед более сложными моделями вследствие относительно малых затрат.
Больше сложности: методы машинного обучения
Во второй части нашего обзора мы двинемся в противоположном направлении диапазона – к большей сложности. Что если мы сумеем взять еще больше прогностических факторов, собрать еще больше данных о каждом, выявить взаимосвязи, которые человеку обнаружить не под силу, и создать на их основе модель, которая добьется лучших прогнозов? В сущности, это нам и обещает ИИ.
Продвинутые модели отличает умение работать с очень
большими массивами данных124, и растущая возможность доступа к таким наборам данных – одна из основных причин стремительного прогресса ИИ в последние годы. Например, благодаря таким массивам появилась возможность механической обработки даже там, где требуется применить правило сломанной ноги. Это несколько загадочное выражение обязано своим появлением воображаемой ситуации, придуманной Милом. Допустим, некая модель разработана, чтобы прогнозировать вероятность посещения кинотеатра сегодня вечером. Если вы случайно узнали, что конкретный человек сломал ногу, то лучше модели представляете, как он проведет вечер – независимо от степени вашего доверия модели.
При использовании простых моделей принцип сломанной ноги дает важный урок тем, кто принимает решения: он сообщает им, когда стоит отвергнуть модель, а когда нет. Если у вас есть не вызывающая сомнений информация, которую модель не примет во внимание, это и есть та самая «сломанная нога», и вам лучше не учитывать рекомендации модели. С другой стороны, порой может случиться так, что вы не согласитесь с моделью даже при отсутствии конфиденциальной информации. В таких случаях соблазн не послушаться модели отражает ваш личный шаблон, который вы применяете к аналогичным предикторам. Когда же этот личный шаблон с высокой степенью вероятности неприменим, следует прислушаться к модели; ваше вмешательство, скорее всего, сни-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/