Часть III
Шум в прогнозировании
Многие суждения по сути являются прогнозами, и поскольку качество поддающихся проверке прогнозов может быть выражено в цифрах, при их изучении мы много узнаем о шумовых помехах и смещении. В этой части книги мы уделим внимание прогнозированию.
В главе 9 сравнивается точность прогнозов, выполненных профессионалами, машинными методами и по простым правилам. И вас не удивит сделанный нами вывод, что профессионалы в этом соревновании занимают третье место. В главе 10 мы исследуем причины такого результата и покажем, что основным фактором низкого качества выносимых людьми оценок является шум.
Чтобы прийти к этим выводам, мы должны выразить качество прогнозов в цифрах, а для этого понадобится единица измерения точности прогнозирования. С ее помощью мы сможем ответить на вопрос: насколько близко прогнозы ковариируют (то есть соотносятся) с результатами? Если, например, кадровые агентства в плановом порядке оценивают потенциал новых сотрудников, мы можем подождать несколько лет, выяснить, как те работают, и проверить, насколько точно рейтинги ковариируют с фактическими пока-
зателями. Прогнозы точны, если сотрудники, чей потенциал был высоко оценен при приеме на работу, показали такие же высокие результаты в процессе трудовой деятельности.
Единицей измерения этого интуитивного сопоставления
является процент согласия92 (ПС), который отвечает на более специфический вопрос. Допустим, вы принимаете на работу двух сотрудников, выбрав их случайным образом. Какова вероятность, что тот из них, кто получил более высокий балл при оценке потенциала, также лучше покажет себя в работе? При идеальной точности прогнозов ПС составит 100 % и ранжирование двух сотрудников по потенциалу позволит идеально предугадать эффективность их работы в будущем. А если прогнозы совершенно бесполезны, совпадение окажется таким же, как при случайном выборе, то есть вполне вероятно, что сотрудник с более высоким потенциалом не будет работать лучше: ПС составит 50 %. Данный пример был всесторонне изучен, и мы обсудим его в главе 9. Более простой случай: ПС при оценке соотношения длины стопы и роста для взрослых мужчин составляет 71 %. То есть если вы встретите двух мужчин разного роста, вероятность того, что у более высокого будет больший размер стопы, будет равна 71 %.
ПС как прямая, интуитивная мера ковариации весьма полезна, однако специалисты не используют ее в качестве стандартной единицы измерения. Стандартной единицей измерения является коэффициент корреляции (r), который нахо-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
дится в диапазоне от 0 до 1, когда две переменные положительно связаны. В предыдущем примере коэффициент корреляции между ростом и размером стопы составляет около
0,6.
Представить себе коэффициент корреляции можно разными способами. Вот один из них, интуитивно понятный: корреляция между двумя переменными – это процент общих для них определяющих факторов. Вообразим, например, что некоторый признак полностью определяется генетически. Мы ожидаем увидеть для этого признака корреляцию 0,5 между родными братьями и сестрами, у которых 50 % общих генов, и 0,25 между двоюродными, у которых 25 % общих генов. Мы также можем интерпретировать корреля-
цию 0,6 между ростом и размером стопы93 как предположение, что 60 % фактора, определяющего рост, определяет и размер обуви.
Две вышеописанные единицы измерения ковариации непосредственно связаны друг с другом. В таблице 1 при-
ведены значения ПС94 для разных значений коэффициента корреляции. Далее в этой книге мы будем всегда указывать обе единицы измерения при обсуждении качества прогнозов, выполненных людьми и моделями.
Таблица 1. Коэффициент корреляции и процент согласия
(ПС)
В главе 11 мы обсудим важную причину ограниченности прогнозов по точности, а именно тот факт, что большинство оценок выносится в состоянии, называемом объективной неосведомленностью, потому что многие обстоятельства, от которых зависит будущее, просто не могут быть известны. Поразительно, что мы обычно ухитряемся в упор не видеть эту ограниченность и давать прогнозы с уверенностью (а зачастую и с излишней самоуверенностью). И наконец, в главе 12 мы покажем, что объективная неосведомленность наносит ущерб не только нашему умению прогнозировать события, но даже и способности понимать их – а это существенная часть ответа на загадку, почему шумы так трудно разглядеть.
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
Глава 9 Оценочные суждения и модели
Многие заинтересованы в прогнозировании будущей результативности сотрудников при приеме на работу – как в своей фирме, так и в других. Именно потому этот процесс широко используется специалистами в качестве примеров. Возьмем двух сотрудниц крупной компании. При приеме на работу Моника и Натали были протестированы специализированной консалтинговой фирмой, которая оценила по шкале от 1 до 10 баллов их лидерские качества, коммуникативные навыки, навыки межличностного общения, профессио- нально-технические компетенции и мотивацию карьерного роста (таблица 2). Ваша задача – спрогнозировать эффективность их работы два года спустя по шкале от 1 до 10.
Таблица 2. Два кандидата на руководящую должность