- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
ритм, призванный прогнозировать успех кандидатов, однако в действительности он обучен на выборке прошлых кадровых решений и, само собой, будет повторять все человеческие предпочтения.
К тому же представляется возможным, причем довольно легко, построить алгоритм, который увековечивает расовое или гендерное неравенство; прецедентов создания именно таких алгоритмов немало. Очевидность подобных случаев объясняет растущее беспокойство по поводу искажений в принятии решений на основе формул. Тем не менее, прежде чем делать общие выводы, следует помнить, что иной алгоритм не только точнее человека, но еще и честнее.
Почему мы не так часто используем правила?
Подводя итог короткому туру, посвященному механическим методам принятия решений, мы снова назовем две причины превосходства всех видов правил над экспертными оценками. Во-первых, как описано в главе 9, все механические методы прогнозирования – а не только самые современные и продвинутые – способны одержать победу над любым экспертом. Комбинация личных предубеждений и ситуативного шума настолько сильно воздействует на качество экспертных оценок, что простота и «бесшумность» становятся немалым преимуществом. Простые и к тому же удобные пра-
вила обычно справляются лучше людей.
Во-вторых, обширного массива данных для продвинутого ИИ порой достаточно, чтобы распознать эффективные сценарии и намного превысить мощность простой модели. Когда ИИ успешно осваивает такие методы, преимущества моделей над экспертами состоят уже не только в отсутствии шума, но и в способности обработать намного больше информации.
Учитывая эти преимущества, подкрепленные огромным количеством фактов, стоит задаться вопросом: почему алгоритмы не используются более широко в различных видах профессиональных оценок, которые мы обсуждаем в данной книге? Наперекор всем оживленным дискуссиям об алгоритмах и методах машинного обучения их применение остается ограниченным, несмотря на наличие важных исключений в специфических сферах деятельности. Многие эксперты не берут в расчет дебаты клиницистов с приверженцами механических моделей, предпочитая свои суждения. Они доверяют своей интуиции и сомневаются в превосходстве машин, воспринимая саму идею принятия решений на основе алгоритмов как бездушный механический процесс и как способ снять с себя ответственность.
В частности, применение алгоритмов в постановке диагнозов до сих пор не стало общепринятой практикой, несмотря на впечатляющие успехи. Немногие организации используют алгоритмы при найме сотрудников и их продви-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
жении по службе. Руководители киностудий в Голливуде дают зеленый свет фильмам на основе своих предпочтений и опыта, а не каких-то формул; с книгоиздателями та же история. И даже если легенда о помешанной на статистике бейсбольной команде «Окленд атлетикс», которую поведал Майкл Льюис в своем бестселлере «Moneyball», произвела сильный эффект, то лишь потому, что отбор кандидатов в команду на основе строгих математических расчетов длительное время считался исключением, а не правилом. Даже сегодня тренеры, менеджеры и те, кто с ними сотрудничает, чаще доверяют только своей интуиции, утверждая, что статистический анализ не сможет прийти на смену здравому смыслу.
В одной из статей 1996 года130 Мил и его соавтор перечислили (и опровергли) не менее семнадцати типов возражений в отношении механических методов со стороны психиатров, врачей, судей и других профессионалов. Авторы статьи пришли к выводу, что сопротивление клиницистов можно объяснить сочетанием социопсихологических факторов, включая «страх перед технологической безработицей», «недостаточную образованность» и «обычную неприязнь к компьютерам».
С тех пор исследователи распознали дополнительные факторы, которые способствовали этому сопротивлению. Мы не ставим цель предложить вам здесь полный их обзор. Цель этой книги – дать предложения по улучшению оценочных суждений, которые делают люди, а не выступать «за за-
мену людей машинами», как выразился бы судья Франкел. Однако некоторые выводы относительно того, что побуждает людей сопротивляться механическому прогнозированию, существенны для нашей дискуссии. В ходе недавних исследований всплыла одна ключевая догадка: люди не всегда относятся к алгоритмам с подозрением. Например, если есть выбор, у кого спросить совета – у человека или алгоритма, –
они часто предпочитают алгоритм131. Неприятие, или антипатия к алгоритмам, не всегда проявляет себя как тотальный отказ от использования новейших инструментов в процессе принятия решений. Люди чаще выражают готовность дать шанс алгоритму, однако прекращают доверять ему, как
только обнаруживают, что он делает ошибки132.
Содной стороны, подобная реакция кажется здравой:
кчему связываться с алгоритмом, которому не доверяешь? Как и все люди, мы прекрасно сознаем, что делаем ошибки, однако делиться этой привилегией не готовы. Мы ожидаем от машин совершенства. А если наши ожидания не оправда-
лись?133 Значит, долой машины!
Однако из-за своих интуитивных ожиданий люди, как правило, не доверяют алгоритмам и продолжают использовать свои оценочные суждения, даже когда подобный выбор приносит явно худшие результаты. Такая позиция глубоко укоренилась и едва ли изменится, пока точность прогнозов не станет практически идеальной.
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
Ксчастью, большинство методов, которые делают правила и алгоритмы более совершенными, могут взять на вооружение и люди. Мы не надеемся пользоваться информацией так же эффективно, как модели на основе ИИ, однако можем стремиться копировать простоту и «бесшумность» простых моделей. Когда мы усвоим методы сокращения системного шума, то сами увидим, что качество наших прогнозов улучшается. Это станет основной темой части V.
Кразговору о правилах и алгоритмах
«На больших массивах данных алгоритмы на основе методов машинного обучения работают лучше людей и лучше простых моделей. Однако даже самые простейшие правила и алгоритмы имеют большое преимущество над людьми: они свободны от шума и не стараются прибегать к запутанным и в большинстве случаев непродуктивным домыслам в отношении прогностических факторов».
«Поскольку у нас недостаточно данных о конечном результате, который должны спрогнозировать, почему бы не использовать равновесную модель? Она почти не уступает «правильной» модели и в отдельных случаях уверенно справится с задачей лучше человека».
«Вы не соглашаетесь с прогнозом модели. Я вас понимаю. Однако что у нас по факту – «сломанная нога» или вам просто не нравится сам прогноз?»
«Конечно, алгоритм порой ошибается. Но ведь еще больше ошибок делают люди. Кому же следует доверять?»
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
Глава 11 Объективная неосведомленность
Нам часто приходилось излагать материал последних двух глав перед руководителями высокого ранга, включая отрезвляющие выводы об ограниченности оценочных суждений. Мысль, которую мы стремимся донести до слушателей, витает в воздухе вот уже более половины столетия; большинство из тех, кто принимает решения, наверняка не раз убеждались в этой ограниченности. Однако в их силах ей сопротивляться.
Некоторые из наших слушателей с гордостью сообщали, что доверяют своей интуиции больше, чем любым исследованиям. Другие оказались не такими безрассудными, однако придерживались тех же взглядов. Исследования на тему
принятия решений134 менеджерами показали, что руководители, особенно более старшие и опытные, весьма часто прибегают к тому, что они называют интуицией, внутренним чутьем или, проще говоря, собственным суждением (не в том смысле, который мы вкладываем в этот термин в данной книге).
Короче говоря, люди любят прислушиваться к своему внутреннему голосу, и очевидно, большинство из них с радостью с ним соглашаются. Отсюда вопрос: а что, собственно,
говорит внутренний голос людям, которым посчастливилось одновременно быть наделенными властью и большой самоуверенностью?
Одно из исследований135 о роли интуиции в принятии решений определяет ее как «решение в пользу заданного образа действий, которое возникает в голове с чувством либо убежденности, либо правдоподобия, однако без явно выраженных причин или оправдывающих обстоятельств – то есть я это «знаю», но не знаю почему». Мы предполагаем, что это самое чувство «я знаю, но не знаю почему» является в дей-
ствительности внутренним сигналом готовности суждения ,
упомянутым в главе 4.
Внутренний отклик – вручаемая самому себе награда, к которой люди усердно (а то и не очень усердно) стремятся при решении задачи. Это приятное ощущение, чувство завершенности, в котором присутствуют и обоснованные доказательства, и вроде бы верная оценка. Все части головоломки, кажется, встали на место! (Далее мы увидим, что чувство завершенности часто основано на сокрытии или пренебрежении элементами, которым не нашлось места.)
Что же делает внутренний отклик таким важным – и потому вводящим в заблуждение? А то, что он по сути является не чувством, а верой. Эмоциональное удовлетворение («доказательства кажутся правильными») маскируется под рациональную убежденность в истинности суждения («не знаю почему, но знаю»).
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/