Тема занятия 1. Оценка согласованности мнений экспертов при выборе наиболее значимых мероприятий

Цель: научиться проводить анализ согласованности экспертов – согласованности оценок значимости мероприятий (альтернатив) для любых двух экспертов и согласованности оценок значимости мероприятий, данных всеми членами экспертной комиссии для решения вопроса о целесообразности получения обобщённого заключения данной экспертной комиссии.

Время выполнения: 2 часа.

1. Исходные теоретические положения метода экспертных оценок

Сущность метода экспертных оценок заключается в следующем: для решения возникшей задачи эксперты предлагают мероприятия с частными оценками их эффективности (или оценивают выполненные мероприятия), что производится на основе использования опыта и интуиции экспертов и составляет первую (эвристическую) часть метода; затем частные оценки обрабатываются методами математической статистики, в результате чего получаются более удобные для практического использования обобщенные оценки, что составляет вторую (математическую) часть метода.

На производстве далеко не всегда могут быть условия, позволяющие идеально реализовать метод экспертных оценок. В связи с этим существуют разновидности этого метода, отличающиеся объективностью получаемых оценок и применяемые в соответствии с реальными возможностями.

Различают индивидуальные и коллективные разновидности метода экспертных оценок.

При работе нескольких экспертов последние могут оценивать значимость выдвинутых идей, рекомендаций, предложений, альтернатив для решения той или иной выдвинутой проблемы. В общем случае частных оценок может быть много. Например, при группе экспертов в 20 человек и при оценке ими 20 предложений по решению какой-либо производственной задачи будет 400 частных оценок. Если даже свести эти оценки в таблицу, то сделать непосредственное заключение по ним о важности предложений будет весьма сложно.

С целью облегчения выводов о значимости каждого предложения с помощью методов математической статистики получают обобщённые (интегральные) оценки. Наиболее простыми из таких оценок являются средние оценки по каждому предложению, дисперсии и среднеквадратичные отклонения частных оценок от средних значений, коэффициенты вариации, характеризующие согласованность мнений экспертов по каждой альтернативе (предложению).

Более сложными оценками являются коэффициент конкордации, характеризующий согласованность мнений экспертов по всем альтернативам и коэффициенты парной ранговой корреляции, характеризующие согласованность мнений экспертов друг с другом. (Корреляция – зависимость, не имеющая функционального характера).

Для записи необходимых расчетных формул принимаем обозначения:

- обозначение для i –й альтернативы;

- альтернатива i предпочтительнее альтернативы j;

- альтернатива i эквивалентна альтернативе j;

- альтернатива i менее предпочтительна, чем альтернатива j;

- среднеквадратичное отклонение частных оценок от среднего значения для i-й альтернативы;

- оценка i- й альтернативы j-ым экспертом: ; ;

m – общее количество альтернатив (предложений);

n - число экспертов, привлекаемых для решения производственной задачи (проблемы);

- средняя оценка (среднее значение) всеми экспертами i-й альтернативы;

- дисперсия оценок i-й альтернативы;

- коэффициент вариации для i-й альтернативы;

- коэффициент конкордации;

- коэффициент парной ранговой корреляции оценок экспертов с номерами j и k ( );

- коэффициент согласованности мнения j-го эксперта с мнением всех других экспертов.

Коэффициент вариации позволяет оценить согласованность мнений экспертов по предложению i: при =0 - полная согласованность; при выполнении условия 0< <0,3 мнения экспертов можно считать достаточно согласованными.

В математической статистике для вычисления указанных обобщённых оценок используются формулы:

, ; (1.1)

, , ; (1.2)

, ; (1.3)

, . (1.4)

Для вычисления значений коэффициентов конкордации и парной ранговой корреляции производится ранжирование значимости оценок: оценкам каждого эксперта присваивается порядковый номер в соответствии с убыванием их значений, то есть первый номер получает наиболее высокая оценка, номер два - следующая за ней и т.д., наибольший номер получает оценка с наименьшим значением.

Вычисляются суммы рангов , назначаемых экспертами альтернативе i по формуле

, , ; (1.5)

где - ранг оценки, данной j – м экспертом i – й альтернативе.

Если все оценки j – ого эксперта различны, то ранги его оценок совпадают с числами натурального ряда от 1 до m.

Если же для некоторых альтернатив оценки эксперта совпадают, то им присваиваются ранги, равные среднему арифметическому соответствующих чисел натурального ряда. Ниже в табл. 1.1 приводятся примеры определения рангов.

			Таблица 1.1.
Номера предложений	Оценки		Соответствующие ранги
1	0,1	0,3	7	6
2	0,4	0,4	6	4
3	1,2	0,8	1	2
4	0,9	0,4	2	4
5	0,7	0,9	4	1
6	0,5	0,4	5	4
7	0,8	0,1	3	7

Среднее значение суммы рангов оценок по всем альтернативам зависит лишь от количества альтернатив и числа экспертов n и выражается формулой

(1.6)

Если некоторые эксперты назначили равные оценки, то для определения значения коэффициента конкордации вычисляются поправки

, (1.7)

где - количество групп равных рангов для j-го эксперта;

- количество равных рангов в группе ( ).

Коэффициент конкордации вычисляется по формуле

. (1.8)

Значения коэффициента конкордации изменяются в пределах от 0 до 1: при W=0 - полная несогласованность экспертов, при W=1 - полная согласованность.

Нулевое и близкое к нулю значение коэффициента конкордации означает, что состав экспертов подобран неудачно, степень знания ими сущности решаемой задачи оказывается существенно различной или же эксперты имеют разный производственный опыт. Может быть, руководитель недостаточно чётко определил экспертам задачу.

Полной согласованности мнений экспертов, как правило, не будет. При значениях коэффициента конкордации больших 0,5 можно принять гипотезу достаточной согласованности экспертов; при значениях меньших 0,5 следует уточнить состав экспертов и более четко сформулировать решаемую задачу (проблему).

Для уточнения состава экспертов можно воспользоваться коэффициентами ранговой корреляции Спирмена: если какой-либо один или несколько (но меньшая часть) таких коэффициентов существенно отличается от остальных, может быть, есть смысл исключить из группы соответствующих экспертов.

Значения коэффициентов парной ранговой корреляции вычисляются по формуле:

, (1.9)

где , ранги оценок, назначенных i-й альтернативе j - м и k – м экспертами ( ).

Коэффициенты ранговой корреляции Спирмена изменяются от -1 до +1:

. (1.10)

Равенство единице достигается при одинаковых ранжированиях, т. е. когда ( ). Значение =-1 имеет место при противоположных ранжированиях (прямое и обратное ранжирование). При равенстве коэффициентов корреляции нулю ранжирования считаются линейно независимыми.

При наличии равных рангов расчет коэффициентов парной ранговой корреляции производится по формуле

, (1.11)

где ,

(1.12)

;

- количество групп равных рангов для экспертов с номерами j и k;

- количество равных рангов в группе для экспертов с номерами j и k.

Если значения всех коэффициентов парной корреляции оказываются отрицательными, то можно сделать вывод о слишком больших разногласиях экспертов, что нельзя считать приемлемым. Причиной является неудачно подобранный состав экспертов либо нечётко поставленная руководителем задача.

В группе экспертов может оказаться один или несколько (но меньшая часть от большего числа) экспертов, значения коэффициентов ранговой корреляции которых с большинством экспертов существенно меньше остальных. Более определённо об этом можно судить по значениям коэффициентов согласованности каждого из экспертов со всеми другими экспертами, вычисляемыми по формуле

; . (1.13)

Коэффициент согласованности удовлетворяет условию:

. (1.14)

Согласованность можно считать практически хорошей, если .

Для экспертов, мнения которых не согласуются с мнением большинства других экспертов, коэффициенты согласованности будут иметь существенно меньшие значения. В этом случае может оказаться целесообразным соответствующих экспертов из рабочей группы исключить.