- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
назвали его «бессознательная логика») может существенно повысить точность оценок в сложных задачах, иллюстрирует ощутимое влияние шума на достоверность клинических прогнозов.
Наш краткий обзор показал, как шум ухудшает качество клинических оценок. Над человеком легко одерживают победу простые формулы – модели реальности, «модели экспертов» и даже случайно сгенерированные модели. Это открытие свидетельствует в пользу «бесшумных» методов. Такие правила и алгоритмы мы рассмотрим в следующей главе.
К разговору об оценках и моделях
«Люди уверены, что они используют комплексный подход и проявляют изобретательность, вынося свои оценки. Однако сложность и изобретательность большей частью напрасная трата сил – обычно они не помогают превзойти точность простых моделей».
«Даже по прошествии более шестидесяти лет после выхода книги Пола Мила нас по-прежнему шокирует сама мысль о том, что механическое прогнозирование одерживает верх над человеком».
«В оценках столько шума, что «бесшумная» модель эксперта добивается более точных прогнозов, чем собственно эксперт».
Глава 10 «Бесшумные» правила
В последние годы искусственный интеллект (ИИ), особенно на основе методов машинного обучения, позволил компьютерам выполнять множество задач, которые ранее считались доступными только человеку. Алгоритмы на основе методов машинного обучения распознают лица, переводят с одного языка на другой и расшифровывают рентгеновские снимки. Они могут решать вычислительные задачи – например, генерировать управляющие команды для тысяч механизмов одновременно с поразительной скоростью и точностью. Эти алгоритмы выполняют сложные задачи по прогнозированию: предугадывают решения Верховного суда США, определяя, какие из обвиняемых с наибольшей вероятностью будут выпущены под залог, и оценивают, какие из звонков в органы опеки требуют незамедлительного приезда социального работника.
Хотя в наше время, слыша слово «алгоритм», мы подразумеваем компьютерные программы, термин имеет более широкое значение. В словаре алгоритм определяется как «процесс или набор правил, описывающий порядок действий при вычислениях или при решении других задач, в частности с использованием компьютера». Согласно данному определе-
нию, простые модели и другие виды механического прогно-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
зирования, описанные нами в предыдущей главе, также являются алгоритмами.
По сути, большинство типов механических подходов к решению задач, от почти смехотворных простых правил до утонченных и непостижимых машинных алгоритмов, превосходят экспертные оценки. И одна из основных – хотя и не единственных – причин этого превосходства состоит в том, что все механические подходы свободны от шума.
Чтобы изучить различные типы подходов на основе алгоритмов и понять, как и при каких условиях каждый из них может быть полезен, мы начнем наш обзор с моделей из главы 9: простых моделей на базе множественной регрессии (то есть линейных регрессивных моделей). От этой отправной точки мы двинемся в двух противоположных направлениях
– сначала поищем крайнюю простоту, а затем перейдем к повышенной сложности (рисунок 11).
Рис. 11. Четыре типа правил и алгоритмов
Больше простоты: грубые и прекрасные
Робин Доуз был еще одним членом команды из Юджина, штат Орегон, которая в 1960-е и 1970-е годы изучала прогнозирование. В 1974 году Доуз добился прорыва в упрощении задач прогнозирования. Ему пришла на ум поразительная и почти еретическая идея: вместо использования множественной регрессии для определения точного веса каждого прогностического фактора он предложил придать всем им равный вес.
Доуз назвал свою равновесную формулу неточной линейной моделью. Его удивительное открытие состояло в том, что равновесные модели практически так же точны, как и «правильные» линейные модели, и далеко опережают клиниче-
ские прогнозы114.
Даже сторонники неточных моделей соглашаются, что это утверждение неправдоподобно и «противоречит статистиче-
ской интуиции»115. Более того, Доузу и его ассистенту Бернарду Корригану вначале пришлось побороться за публикацию своей работы в научных журналах; издатели им попросту не верили. Если вы вспомните пример Моники и Натали в прошлой главе, то, скорее всего, поверите, что одни прогностические факторы более весомы, чем другие. Многие люди, к примеру, придадут большее значение лидерским качествам, чем техническим навыкам. Как тупое, невзве-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
шенное среднее может спрогнозировать чьи-то успехи лучше, чем тщательно вычисленное средневзвешенное значение? Или лучше, чем признанный эксперт?
Сегодня, спустя много лет после прорыва Доуза, так удивлявший его современников статистический феномен хорошо изучен. Как мы уже объяснили ранее в этой книге, множественная регрессия вычисляет «оптимальные» весовые коэффициенты, которые минимизируют квадратичные ошибки. Однако при этом ошибки минимизируются в исходных выборочных данных. Таким образом формула корректирует сама себя, чтобы предугадать всякую случайную флуктуацию в данных. Например, если какие-то из менеджеров в выборке обладают хорошо развитыми техническими навыками, то в случае высоких показателей по другим, не связанным с ними показателям модель преувеличит вес технических навыков.
Проблема в том, что, когда формула применяется вне выборки – то есть для других наборов данных, – присвоенные таким образом веса уже не будут оптимальны. Флуктуации, имевшие место в первоначальной выборке, больше не присутствуют – на то они и случайности; не все менеджеры с хорошо развитыми техническими навыками являются суперзвездами. А в новой выборке уже другие флуктуации, которые формула не может учесть. Истинная мера точности модели – ее приспособляемость к новой выборке, иначе говоря,
способность к корреляции с перекрестной проверкой. Дей-
ствительно, регрессивная модель слишком успешно работает в оригинальной выборке, в то время как при наличии перекрестной проверки корреляция почти всегда ниже, чем она была в исходных данных. Доуз и Корриган сравнивали равновесные модели с моделями на основе множественной регрессии (с перекрестной проверкой) в различных ситуациях. Рассматривался типичный случай: прогнозирование среднего балла в первый год обучения для 90 студентов факультета психологии в Иллинойском университете; использовались десять переменных, имеющих отношение к успеваемости: результаты тестов на выявление способностей, отметки в колледже, различные субъективные оценки ровесников (например, степень экстраверсии), а также самооценка (например, добросовестности). Стандартная модель на основе множественной регрессии показала корреляцию 0,69, а наличие перекрестной проверки ухудшило результат до 0,57 (ПС=69 %). Корреляция равновесной модели со средним баллом осталась примерно такой же: 0,60 (ПС=70 %). Похо-
жие результаты116 были получены и во многих других исследованиях.
Модели с перекрестной проверкой показывают наихудший результат, когда оригинальная выборка слишком мала, поскольку флуктуации в маленьких выборках принимают угрожающие размеры. Доуз обнаружил проблему: используемые в социологических исследованиях выборки обычно настолько малы, что теряется все преимущество так называе-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
мого оптимального взвешивания. Недаром статистик Говард Уэйнер снабдил научную статью, посвященную расчету пра-
вильных весов, подзаголовком «Нам без разницы»116а. Или,
как говорил Доуз, «нам не нужны117 модели настолько точные, что мы эту точность не можем измерить». Равновесные модели работают хорошо, потому что они нечувствительны к специфике конкретной выборки.
Непосредственные выводы из работ Доуза получили заслуженное признание: вы можете давать эффективные статистические прогнозы, ничего не зная наперед об аналогичных предшествующих результатах. Все, что вам нужно, – это набор прогностических факторов, относительно которых вы можете быть уверены, что они коррелируют с конечным результатом.
Предположим, вам нужно спрогнозировать эффективность работы менеджеров, которым присвоены рейтинги по некоторому количеству параметров, как в примере из главы 9. Вы уверены, что набранные баллы оценивают определенные компетенции кандидатов, однако не имеете данных о том, насколько хорошо они прогнозируют будущий успех. Вы также не можете позволить себе роскошь ждать несколько лет, чтобы отследить успехи большой выборки менеджеров. Однако вы можете взять баллы по семи параметрам, проделать необходимую статистическую работу, чтобы присвоить им равные веса, и использовать результат в качестве прогноза. Насколько хороша эта равновесная модель?