Задача 18. «Оценка согласованности мнений экспертов»

Условие. Результаты ранжирования шести управленческих решений (объектов оценки) пятью экспертами представлены в табл. 4.3.

Требуется оценить согласованность мнений экспертов.

Методические рекомендации по решению. Согласованность оценок экспертов характеризуется двумя показателями: величиной коэффициента конкордации W и наблюдаемым распределением частот (расчетной вероятностью) f².

Дисперсный коэффициент конкордации W характеризует достоверность итоговой оценки (согласованность мнений экспертов и сходимость результатов); он рассчитывается по формуле:

, где (4.1.)

S – сумма квадратов отклонений оценок от математического ожидания (среднего значения) суммарного ранга одного объекта:

Таблица 4.3.

Результаты ранжирования m = 6 объектов d = 5 экспертами

(r_ij - ранг i-го объекта / решения, присвоенный j-м экспертом)

\ Эксперты Решение(объект)\	Э₁	Э₂	Э₃	Э₄	Э₅	Итого
Y₁	1	2	1,5	1	2	7,5
Y₁	r₁₁	r₁₂	r₁₃	r₁₄	r₁₅	7,5
Y₂	2,5	2	1,5	2,5	1	9,5
Y₂	r₂₁	r₂₂	r₂₃	r₂₄	r₂₅	9,5
Y₃	2,5	2	3	2,5	3	13
Y₃	r₃₁	r₃₂	r₃₃	r₃₄	r₃₅	13
Y₄	4	5	4,5	4,5	4	22
Y₄	r₄₁	r₄₂	r₄₃	r₄₄	r₄₅	22
Y₅	5	4	4,5	4,5	5,5	23,5
Y₅	r₅₁	r₅₂	r₅₃	r₅₄	r₅₅	23,5
Y₆	6	6	6	6	5,5	29.5
Y₆	r₆₁	r₆₂	r₆₃	r₆₄	r₆₅	29.5
Всего / среднее: 105 / 17,5

; (4.2.)

- математическое ожидание суммарного ранга одного объекта:

(4.3.)

m - число объектов ранжирования (m = 6);

d - число экспертов (d = 5);

i - индекс объекта;

j - индекс эксперта;

r_i_,_j - ранг, присвоенный i-му объекту j-м экспертом (см. табл. 4.3.);

T_j - показатель связанных рангов в ранжировке j-ro эксперта:

; (4.4.)

k - номер группы связанных (равных) рангов;

H_j - число групп связанных рангов в ранжировке j-ro эксперта;

h_k - число равных рангов в k-й группе связанных рангов

Если в ранжировках совпадающих рангов нет, то все H_j = 0; h_k = 0 и, следовательно, T_j= 0; в этом случае формула 10.1 принимает вид:

Величина W = 1 характеризует полное совпадение мнений; W = 0 - свидетельствует, что все ранжировки разные.

Показатель наблюдаемого распределения частот f² применяется для статистической проверки гипотезы согласованности экспертов путем его сравнения с теоретическим (табличным) ², найденным для принятого уровня значимости. Сравнение на основе «-квадрат-критерия» (²-критерия) позволяет сделать вывод, что если f² < ²,то гипотезу о согласии экспертов следует отвергнуть.

²- теоретическое распределение частот получают на основе таблиц в учебниках математической статистики в соответствии с принятым уровнем значимости (5%-й уровень значимости соответствует 95%-му уровню достоверности) и числом степеней свободы  = m - 1, определяемым исходя из числа ранжируемых объектов (наблюдений).

f² - наблюдаемое распределение частот рассчитывается по формуле:

. (4.5.)