дики решительно в них нуждаются348.

К разговору о методических рекомендациях в медицине

«Шум в медицинской среде куда выше, чем мы думаем. Специалисты порой расходятся во мнениях по поводу диагностики рака и сердечно-сосудистых заболеваний – даже при оценке рентгенограмм. Это означает, что лечение, назначенное пациенту, сродни результату лотереи».

«Доктора уверены, что поставят один и тот же диагноз независимо от дня недели или времени дня. Однако выясняется: слова врачей расходятся с их делами – все зависит от того, насколько они устали».

«Методические рекомендации в медицине помогут врачам снизить вероятность ошибок, которые дорого обходятся пациентам. Подобные документы полезны всему медицинскому сообществу – ведь они уменьшают вариативность суждений».

Глава 23 Определение шкалы оценки

профессиональной эффективности

Начнем с упражнения. Выберите трех знакомых вам людей – коллег или приятелей. Оцените каждого из них по шкале от 1 до 5. Примем балл 1 за самый низкий, балл 5 – за наивысший. Рассматривать будем три характеристики: доброту, интеллект и трудолюбие. Теперь попросите человека, который также хорошо знает ваших кандидатов, – супругу, коллегу, лучшего друга – проделать ту же процедуру с теми же людьми.

Высока вероятность, что ваш помощник в некоторых случаях выставит иной балл. Если есть желание – обсудите причины подобных расхождений. Скорее всего, выяснится, что вы использовали шкалу по-разному. Это и есть межэкспертный (в данном случае межличностный) шум. Возможно, вы считаете, что наивысшую оценку получит лишь человек, обладающий действительно выдающимися качествами. С другой стороны, ваш напарник уверен, что для выставления отличной оценки качества просто должны быть развиты выше среднего. Не исключено, что у вас с помощником разное мировоззрение: например, каждый из вас по-своему представляет себе доброту.

Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/

Теперь вообразите, что результатом вашего теста станет продвижение человека по службе или иные бонусы. Допустим, вы с напарником участвуете в оценке эффективности профессиональной деятельности работников какой-либо компании, где в шкалу ценностей включены доброта, интеллект и трудолюбие. Изменится ли выставленный вами балл? Будет ли он так же высок? А может, станет еще выше? Как бы вы ни ответили на наш вопрос, разница в целях исследования и особенностях использования измерительного инструмента наверняка создаст шумовой эффект. И в самом деле, обсуждаемые нами расхождения регулярно наблюдаются при оценке деловых качеств в зависимости от установок, принятых в той или иной компании.

Требуется суждение…

Оценка эффективности работника регулярно производится почти в каждой крупной компании, и сотрудники совсем не в восторге от подобного испытания. Вспоминается

заголовок в одной из газет349: «Исследование показало, что практически каждый человек ненавидит аттестации». Добавим, что любой работник знает (во всяком случае, так нам представляется), что процесс аттестации подвержен как шуму, так и смещению. Кстати, почти никто из нас не подозревает, сколько шума производит сам.

В идеальном мире оценка эффективности не потребова-

Одна доля реальных сигналов на три доли шума

По результатам опыта служебных аттестаций опубликованы тысячи аналитических статей, и большинство авторов

приходит к выводу351 об огромной доле шума в оценках. В основном тревожные сигналы касаются метода «360 градусов», когда одного и того же работника по самым разным параметрам оценивают многочисленные эксперты. Не станем утверждать, что итоги подобных аттестаций обнадеживают. Исследования нередко говорят о том, что истинная дисперсия (то есть диапазон реальных оценок деловых качеств конкретного человека) составляет лишь от 20 до 30 % разброса

оценок. Остальные 70–80 %352 являются системным шумом. Откуда берется шум? Благодаря различным исследовани-

ям353, посвященным дисперсии в оценках эффективности работы персонала, мы знаем, что в данном случае представлены все компоненты системного шума.

В контексте оценки деловых качеств каждый из них выделить несложно. Допустим, у нас два представителя аттестационной комиссии: Линн и Мэри. Линн снисходительная, а Мэри строгая (то есть Линн в среднем присваивает каждому аттестуемому более высокий балл); соответственно, здесь мы сталкиваемся с межэкспертным шумом. Как уже отмечалось при обсуждении судей, подобного рода шум может означать, что у Линн и Мэри действительно разное восприятие либо восприятие идентично, однако каждый из участ-

телось бы. В одном из аналитических обзоров мы прочтем следующее заключение: «Связь между реальной эффектив-

ностью профессиональной деятельности354 и ее оценкой чаще всего слаба или, по крайней мере, отличается неопределенностью».

Добавим, что существует множество причин, по которым итоговая оценка в конкретной организации не соответству-

ет фактической эффективности аттестуемого работника355. Например, организация изначально не ставит перед собой задачи определения точных рейтингов, поскольку аттестация проводится исключительно для поддержания рабочего

тонуса сотрудников356. Могут присутствовать и другие мотивы: эксперт намеренно завышает оценку, чтобы избежать последующего неприятного разговора с аттестуемым, либо стремится добавить баллов человеку, давно рассчитывающему на повышение по службе. Парадоксально, что высокая оценка может даже объясняться желанием оценивающего избавиться от неэффективного члена команды, способствуя его переводу в иное подразделение.

Приведенные в пример расчеты, безусловно, искажают итоговый рейтинг, однако не являются единственной причиной возникновения шумового фона. Об этом говорит и эксперимент, проведенный в естественных условиях: некоторые системы обратной связи, относящиеся к модели «360 градусов», используются исключительно в качестве стиму-