Результаты опроса экспертов представлены в виде матрицы рангов. Ее общий вид приведен в таблице Матрица рангов
-
Номер эксперта
Оцениваемые элементы
1
2
....
N
1
R11
R12
....
r1n
2
R21
R22
....
r1n
....
i = m
rm1
rm1
....
R1n
Сумма рангов rmn
В клетках матрицы рангов находятся цифры rmn, равные рангу n-го элемента по мнению m-го эксперта. Сумма рангов определяется сложением рангов всех экспертов по n-му элементу.
Поскольку процедура опроса и ранжирования элементов экспертами является субъективной, возможны различия во мнениях и определенные трудности при формировании группового мнения. Во избежание этого согласованность экспертов была проверена с помощью статистического коэффициента конкордации Кендалла К, расчет которого проводили по формуле:
В случае полного совпадения мнений экспертов коэффициент конкордации равен единице. В случае полной несогласованности мнений экспертов К = 0. В остальных случаях значения коэффициента конкордации лежат в пределах от 0 до 1.
Для статистической проверки значимости полученных коэффициентов конкордации использовали таблицы распределения 2 (критерий Пирсона). Зависимость между 2 и К описывается выражением 2= m (n-1) K, то есть величина m(n-1)K подчиняется 2- распределению с числом степеней свободы f = (n-1) и заданным уровнем значимости . Гипотеза о согласованной работе экспертов принимается, если 2 > 2табл. Таблица 2 приведена в /200/. Согласованность экспертов удовлетворительная, если К = 0,5,=0,01 и хорошая, если К 0,7 и < 0,001.