ATT00025-Экспертные оценки от Анохина

ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

131

ГЛАВА 5

тернативной – полученное значение считается обобщенным мнением. Продемонстрированная методика явно неформальна и пригодна далеко не во всех ситуациях. Так, промежуточные значения между баллами шкалы можно вычислять лишь тогда, когда они имеют какойто количественный смысл. Однако рассмотренный пример показывает возможные пути организации эвристического алгоритма мажори-

тарной выборки.

Выводы

1.Обработка экспертных оценок включает унификацию результатов, анализ согласованности мнений, выделение высокосогласованных подгрупп и синтез обобщенного мнения.

2.В качестве унифицированных результатов экспертного оценивания выступают вектор рангов, вектор относительных значимостей, матрица парных сравнений, вектор идентификаторов и вектор численных оценок. В зависимости от избираемых методов обработки, результаты могут преобразовываться из сильных шкал в более слабые.

3.Основными свойствами оценок, отражающими согласованность мнений экспертов, являются относительная частота противоречий, вариационный размах и средние отклонения. Для измерения этих свойств известны 12 показателей, позволяющих оценивать парную и множественную согласованность мнений относительно одного или более объектов экспертизы. Каждый показатель согласованности ориентирован на свой тип оценок, однако весьма часты случаи анализа согласованности с помощью показателей более слабых шкал.

4.Выделение высокосогласованных подгрупп является задачей классификации экспертов при неизвестных классах. Эвристический алгоритм такой классификации основан на количественном определении понятия «высокая согласованность», составляющем неформальную часть этой процедуры.

5.Синтез обобщенного мнения осуществляется двумя способами: статистическим (среднее арифметическое, среднее взвешенное, сумма рангов, мажоритарная выборка) и алгебраическим (медиана распределения, медиана Кемени, принцип Кондорсе). Выбор метода обобщения определяется типом обобщаемых оценок.

132

ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ

Глава 6

ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ

Целью заключительного этапа экспертного анализа является осмысление полученных результатов и ответ на тот вопрос, ради которого проводилась вся работа. Понять, что означает та или иная цифра результата можно только исходя из контекста конкретной экспертизы. Поэтому говорить о какой-то единой предметно независимой процедуре семантической интерпретации бессмысленно. Тем не менее существует ряд приемов, позволяющих эффективно организовать этот процесс, направив внимание аналитика на некоторые универсальные признаки и предоставив ему самому право трактовать их.

Интерпретация результатов включает в себя представление и анализ результатов обработки экспертных оценок;

анализ эффективности работы экспертов; вычисление итоговых показателей модели, исследование факто-

ров и критериев, раскрывающих стоящую задачу; осмысление результатов и генерацию выводов экспертного анализа. Рассмотрим некоторые из перечисленных вопросов.

Как было показано в предыдущей главе, основным результатом обработки экспертных оценок является вектор (или матрица), содержащий обобщенное мнение. Формирование этого вектора – цель экспертизы. Однако одни лишь цифры обобщенного мнения не отражают в полной мере информацию, заложенную в них, и практически не позволяют оценить ее качество. Перечислим, что еще кроме обобщенных оценок необходимо знать аналитику.

Если обобщенное мнение соответствует точке зрения одной из высокосогласованных подгрупп, а не всего коллектива экспертов, то необходимо дать информацию об этой подгруппе: ее численность, конкордацию, уровень компетентности входящих в нее экспертов. Для воссоздания полной картины желательно предоставлять такую информацию обо всех высокосогласованных группах. Количество точек зрения и распределение по ним мнений экспертов может многое ска-

133

ГЛАВА 6

зать о наличии или отсутствии устоявшегося взгляда (стереотипа) на анализируемый фактор.

Неплохо было бы также знать и степень расхождения позиций групп. Для этого необходимо вычислить показатели парной согласованности векторов обобщенных оценок, сформированных для каждой из этих групп. Приведенная ниже табл. 28 может использоваться в качестве формы представления информации о распределении экспертов по группам при ранжировании.

Таблица 28 Представление информации о распределении мнений

при ранжировании объектов

Другой важной характеристикой результата является информация о согласованности мнений по поводу каждого из объектов экспертизы. Такая информация позволяет выявить объекты, относительно которых позиции экспертов полярны либо значительно удалены друг от друга. Причиной этого явления может стать слабая изученность объекта, различная специализация экспертов, их заинтересованность в результате и т.д.

Наилучшим показателем такой согласованности является коэффициент вариации. Его высокие значения соответствуют низкой согласованности мнений. Такие ситуации желательно показывать более подробно, например, с помощью гистограмм, дающих достаточно полное представление о характере распределения мнений. Высота каж-

134

135

ГЛАВА 6

Vi>0,7-0,8

m

Рис. 33. Форма таблицы для представления обобщенной классификации

136

ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ

В процессе интерпретации относительных значимостей может оказаться полезным коэффициент вариации, рассчитанный по элементам обобщенного вектора значимостей

где λ *i – обобщенная значимость i-го объекта.

Коэффициент V позволяет оценить «контрастность» (различимость) объектов экспертизы по отношению друг к другу. Близость V к 1 говорит об очень ощутимой разнице между значимостями лидирующих объектов и объектов-аутсайдеров. В ряде случаев это является свидетельством высокой прагматичности результатов.

Для анализа эффективности работы экспертов формируется их рейтинг, зависящий от относительного числа L*j вхождений каждого эксперта в высокосогласованные группы, точки зрения которых служили основополагающими для вычисления обобщенных оценок:

zj = L*j / l ,

где l – число анализируемых факторов эвристической модели (количество экспертиз анализа).

Заключительной процедурой экспертного анализа является линейная свертка полученных результатов в обобщенный итоговый показатель (см. разд. 2.3) с последующим трактованием его значения.

Выводы

1.Интерпретация результатов экспертного анализа включает представление результатов обработки, анализ работы экспертов, вычисление итоговых показателей и обоснование выводов.

2.По каждой экспертизе представлению и интерпретации подлежат распределение экспертов по высокосогласованным группам; информация о согласованности мнений по каждому объекту экспертизы; вектор обобщенных оценок.

3.Внимание аналитика должно фокусироваться на особенностях обобщенных оценок – особо выделяющихся объектов и их «контрастности».

4.Рейтинг экспертов определяется частотой их вхождения в группы, служившие основой для обобщенного мнения.

137

Заключение

Настоящее пособие планировалось как удобное практическое руководство. Взяв его в руки, читатель должен, по идее, разобраться в сущности экспертных методов и суметь провести реальную высококвалифицированную экспертизу. Однако по мере написания очередной главы выяснялось, что современный арсенал средств экспертного оценивания достаточно обширен: масса методов оценивания и обработки; большая номенклатура показателей качества и согласованности; широкий выбор шкал и путей достижения требуемого результата. Пренебречь их описанием означало бы искусственно сузить представление об экспертных оценках как об аппарате с обширными возможностями. Включение же всего материала превратило бы простое руководство в громоздкий справочник.

Несмотря на то, что автором избран компромиссный вариант – краткое, но достаточно полное изложение всех основных вопросов и методов, неспециалисту он все же может показаться несколько перегруженным и запутанным. Чтобы хоть как-то помочь ориентироваться в многочисленных методах и коэффициентах, были разработаны процедуры (рис. 34-37), позволяющие читателю точно определить, каким путем ему двигаться, в зависимости от поставленной цели экспертизы. Указанные процедуры охватывают решение таких задач, как экспертная классификация, упорядочение, выявление значимости и количественная оценка.

К сожалению, в пособии слабо освещены вопросы работы с нечеткими множествами, неполными оценками и альтернативными мнениями. Сегодня это наиболее слабые и одновременно наиболее активно развивающиеся вопросы теории экспертных оценок, для которых пока отсутствуют эффективные методы решения

138

Рис. 34. Процедура экспертной классификации

139