Пример: полный статистический анализ экспертных оценок
С целью поиска путей эффективного реформирования системы управления организации была подобрана группа из пяти экспертов. Используя метод коллективной генерации идей («мозгового штурма»), они сформировали множество мероприятий, а затем определили значимость каждого предложения в десятибалльной системе. Результаты сведены в табл. 1.2.
Таблица 1.2 |
|||||
Рекомендации по реформированию системы управления организации |
Оценки экспертов |
||||
1 |
2 |
3 |
4 |
5 |
|
1.Реформирование ОСУ |
|
|
|
|
|
|
9/3 |
8/3 |
10/1,5 |
5/6 |
9/2,5 |
2. Обучение персонала |
|
|
|
|
|
управленческого звена |
8/5 |
10/1,5 |
10/1,5 |
8/3,5 |
10/1 |
З. Усоверш. систему матер. |
|
|
|
|
|
стимулирования |
10/1,5 |
10/1,5 |
9/3 |
9/2 |
8/5 |
4. Внедр метод. колл. Мет прин УР колколлективные методы |
10/1,5 |
7/4 |
8/4,5 |
10/1 |
7/5 |
5 Провести тестир персонала |
8/5 |
3/6 |
7/6 |
6/5 |
5/8 |
6 Мероприятия по формир орг.культ |
8/5 |
5/5 |
8/4,5 |
8/3,5 |
9/2,5 |
В данном примере число экспертов равно n=5, количество альтернатив m=6.
1. Вычислим средние значения оценок по формуле (1.1):
=1/5(9+8+10+5+9)=8,2;
=1/5(8+10+10+8+10)=9,2;
=1/5(10+10+9+9+8)=9,2;
=1/5(10+7+8+10+7)=8,4;
=1/5(8+3+7+6+5)=5,8;
=l/5(8+5+8+8+9)=7,6.
По значениям средних оценок видно, что наиболее значимыми рекомендациями из предложенных являются обучение персонала управленческого звена.
2. Вычисляем дисперсии оценок по формуле (1.2):
=1/4
((9-8,2)2+(8-8,2)2
+(10-8,2)2+(5-8,2)2+(9-8,2)2)=3,7,
=1/4
((8-9,2) 2+(10-9,2) 2+(10-9,2) 2+(8-9,2)
2+(10-9,2) 2)=1,2,
аналогично получаем:
=0,7;
=2,3
=3,7;
=2,3.
3. Среднеквадратичные отклонения вычисляем по формуле (1.3):
=
=1,9235;
=
=1,0954;
=
=0,8367;
=
=1,5166;
=
=1,9235;
=
=1,5166.
4. По формуле (1.4) находим значения коэффициентов вариации:
;
;
;
;
;
.
Полученные
значения коэффициентов вариации
показывают, что согласованность мнений
экспертов по первым трем рекомендациям
достаточная, а по последним трем уровень
согласованности значительно ниже. По
пятому предложению согласованность
экспертов вызывает сомнение (
>0,3
).
5. Для определения согласованности экспертов по всем рекомендациям по формуле (1.8) вычисляем значение коэффициента конкордации. Предварительно выполняем ранжирование оценок каждого эксперта, данных всем альтернативам.
Для первого эксперта
оценки |
9 |
8 |
10 |
10 |
8 |
8 |
порядковые номера |
3 |
4 |
1 |
2 |
5 |
6 |
ранги |
3 |
5 |
1,5 |
1,5 |
5 |
5 |
Количество
групп равных рангов
=2;
количество равных рангов в группах
=
2 (две десятки в оценках);
=3
(три восьмерки в оценках); по формуле
(1.7) находим поправку на равные ранги
для первого эксперта:
=
( 23 - 2 ) + (33 - 3 ) = 30 .
Для второго эксперта
оценки |
8 |
10 |
10 |
7 |
3 |
5 |
порядковые номера |
3 |
1 |
2 |
4 |
6 |
5 |
ранги |
3 |
1,5 |
1,5 |
4 |
6 |
5 |
=1;
=2;
.
Аналогично
находим
=12;
=6;
=6.
Вычисление сумм рангов по каждой альтернативе и средней суммы:
=3
+ 3 + 1,5 + б + 2,5 = 16;
=5
+ 1,5 + 1,5 + 3,5 + 1 = 12,5.
Аналогично получаем:
=
12;
=
16;
=
28;
=20,5.
Средняя сумма:
=
1/( 16 + 12,5 +12 + 16 + 28 + 20,5 ) = 17,5.
Вычисляем
и
в формуле (1.8):
;
.
Значение коэффициента конкордации, вычисленное по формуле (1.8), будет:
.
6. С помощью коэффициентов парной ранговой корреляции определяем согласованность экспертов друг с другом по формуле (1.11). С целью ускорения процесса вычислений находим значения отдельных входящих в формулу составляющих:
значения Т получаем по формуле (1.12):
;
.
Аналогично
получаем
;
;
.
Производим расчёт коэффициента парной корреляции для экспертов 1 и 2.
Ранги |
Ранги |
Разность |
Квадраты |
j= 1 |
k= 2 |
рангов |
разностей |
3 |
3 |
0 |
0 |
5 |
1,5 |
3,5 |
12,25 |
1,5 |
1,5 |
0 |
0 |
1,5 |
4 |
-2,5 |
6,25 |
5 |
5 |
-1 |
1 |
5 |
5 |
0 |
0 |
;
.
Сумма квадратов равна 19,5.
.
Для экспертов 1 и 3:
Ранги: |
Ранги: |
Разность |
Квадраты |
j = 1 |
k=3 |
рангов |
разностей |
3 |
1,5 |
1,5 |
2,25 |
5 |
1,5 |
3,5 |
12,25 |
1,5 |
3 |
-1,5 |
2,25 |
1,5 |
4,5 |
-3 |
9 |
5 |
6 |
-1 |
1 |
5 |
4,5 |
0,5 |
0,25 |
;
.
Сумма квадратов равна 27.
.
Аналогично получаем:
=0,5636;
=-0,3131;
=0,8508;
=0,250;
=0,5882;
=-0,1791;
=0,8061;
=-0,1912.
Для большей наглядности сводим значения коэффициентов парной ранговой корреляции в матрицу:
|
2 |
3 |
4 |
5 |
1 |
0,3914 |
0,143 |
0,5636 |
-0,3131 |
2 |
|
0,8508 |
0,250 |
0,5882 |
3 |
|
|
-0,1791 |
0,8061 |
4 |
|
|
|
-0,1912 |
Значения коэффициентов парной ранговой корреляции позволяют сделать следующие выводы:
совершенно недостаточная согласованность между экспертами 1 и 5; 3 и 4; 4 и 5 (отрицательные значения коэффициентов , , );
отрицательные значения указанных коэффициентов обусловили и сравнительно малое значение коэффициента конкордации;
есть необходимость довести полученные результаты до всех экспертов: может быть, некоторые из них уточнят свои первоначальные оценки (то есть применить дельфийский метод).
После уточнения экспертами первоначальных частных оценок, получены оценки, приведённые в табл. 1.3.
Таблица 1.3
Номер экспер- та Номер рекомен-дации |
1 |
2 |
3 |
4 |
5 |
Сумма оценок |
Значимость (место) |
1 |
9 |
8 |
9 |
7 |
9 |
42 |
4 |
2 |
9 |
10 |
10 |
9 |
10 |
48 |
1 |
3 |
10 |
10 |
9 |
9 |
9 |
47 |
2 |
4 |
10 |
9 |
8 |
10 |
8 |
45 |
3 |
5 |
6 |
4 |
6 |
6 |
5 |
27 |
6 |
6 |
8 |
7 |
8 |
8 |
9 |
40 |
5 |
По аналогичной методике получены соответствующие обобщённые суммы оценок по альтернативам:
=42;
=48;
=47;
=45;
=27;
=40.
В соответствии с этими оценками наиболее значимой оказалась рекомендация по обучению персонала управленческого звена.
Коэффициенты вариации:
=0,1065;
=0,0571;
=0,0583;
=0,1111;
=0,2557;
=0,0884.
Теперь все значения удовлетворяют практическому условию ( <0,3). Коэффициент конкордации W=0,6494; согласованность мнений экспертов по всем альтернативам также удовлетворительна (W>0,5).
Коэффициенты парной ранговой корреляции приведены в табл. 1.4.
|
|
|
Таблица 1.4. |
|
|
2 |
3 |
4 |
5 |
1 |
0,8061 |
0.3178 |
0,8359 |
0,2189 |
2 |
|
0,7358 |
0,7647 |
0,6468 |
3 |
|
|
0,1722 |
0,8198 |
4 |
|
|
|
0,2772 |
Все коэффициенты парной ранговой корреляции положительны, что указывает на достаточную взаимную согласованность мнений экспертов.
Коэффициенты согласованности получаем по формуле (1.13):
=1/4(
0,8061 + 0,3178 + 0,8359 + 0,2189 )=0,5447;
=1/4(
0,8061 + 0,7358 + 0,7647 + 0,6468 )=0,7384;
=1/4(
0,3178 + 0,7358 + 0,1722 + 0,8198 )=0,5114;
=1/4(
0,8359 + 0,7647 + 0,1722 + 0,2772 )=0,5125;
=1/4(
0,2189 + 0,6468 + 0,8198 + 0,2772 )=0,4907.
В данном случае можно сделать вывод о достаточной согласованности мнений каждого эксперта со всеми другими экспертами.
В условиях рассмотренного примера значимость рекомендаций, полученная по суммам оценок экспертов (см. табл. 1.3) может считаться объективной и использоваться в практической работе аппарата управления.
ЗАДАНИЯ ДЛЯ ВЫПОЛНЕНИЯ НА ПРАКТИЧЕСКОМ ЗАНЯТИИ
Провести полный статистический анализ экспертных оценок методик для тестирования персонала в целях объективной оценки системы управления организации. Варианты заданий приведены в табл. 1.5.
Таблица 1.5 |
|||||
Номер варианта |
Номер методики |
Оценки экспертов |
|||
1 |
2 |
3 |
4 |
||
1 |
1 |
6 |
7 |
8 |
4 |
2 |
9 |
6 |
10 |
5 |
|
3 |
8 |
10 |
7 |
6 |
|
4 |
3 |
5 |
5 |
9 |
|
5 |
4 |
4 |
6 |
6 |
|
2 |
1 |
8 |
9 |
7 |
10 |
2 |
3 |
5 |
6 |
8 |
|
3 |
4 |
10 |
7 |
4 |
|
4 |
8 |
5 |
3 |
8 |
|
5 |
6 |
10 |
6 |
6 |
|
3 |
1 |
3 |
5 |
8 |
7 |
2 |
8 |
10 |
6 |
9 |
|
3 |
4 |
5 |
4 |
5 |
|
4 |
4 |
4 |
10 |
6 |
|
5 |
4 |
8 |
5 |
5 |
|
Продолжение табл. 1.5 |
|||||
Номер варианта |
Номер методики |
Оценки экспертов |
|||
1 |
2 |
3 |
4 |
||
4 |
1 |
6 |
4 |
5 |
4 |
2 |
7 |
6 |
4 |
9 |
|
3 |
10 |
10 |
7 |
9 |
|
4 |
6 |
6 |
7 |
7 |
|
5 |
6 |
6 |
5 |
7 |
|
5 |
1 |
4 |
6 |
6 |
6 |
2 |
4 |
10 |
10 |
9 |
|
3 |
7 |
3 |
10 |
6 |
|
4 |
10 |
9 |
7 |
3 |
|
5 |
6 |
7 |
7 |
7 |
|
6 |
1 |
5 |
8 |
7 |
3 |
2 |
10 |
7 |
8 |
4 |
|
3 |
6 |
9 |
9 |
4 |
|
4 |
7 |
7 |
9 |
9 |
|
5 |
7 |
4 |
4 |
7 |
|
7 |
1 |
5 |
3 |
8 |
8 |
2 |
8 |
3 |
5 |
6 |
|
3 |
6 |
7 |
7 |
3 |
|
4 |
4 |
4 |
3 |
7 |
|
5 |
8 |
10 |
10 |
7 |
|
8 |
1 |
10 |
10 |
10 |
9 |
2 |
5 |
3 |
4 |
5 |
|
3 |
9 |
4 |
3 |
8 |
|
4 |
6 |
9 |
10 |
7 |
|
5 |
5 |
10 |
5 |
4 |
|
9 |
1 |
3 |
5 |
3 |
6 |
2 |
3 |
7 |
9 |
8 |
|
3 |
9 |
10 |
10 |
6 |
|
4 |
9 |
7 |
4 |
5 |
|
5 |
6 |
7 |
3 |
4 |
|
10 |
1 |
9 |
8 |
3 |
4 |
2 |
3 |
4 |
4 |
4 |
|
10 |
3 |
8 |
4 |
3 |
3 |
4 |
6 |
10 |
8 |
10 |
|
5 |
10 |
4 |
9 |
6 |
|
11 |
1 |
6 |
9 |
7 |
3 |
2 |
10 |
7 |
3 |
6 |
|
3 |
8 |
8 |
8 |
5 |
|
4 |
5 |
7 |
5 |
3 |
|
5 |
6 |
3 |
8 |
9 |
|
12 |
1 |
3 |
10 |
4 |
10 |
2 |
9 |
10 |
3 |
7 |
|
3 |
8 |
5 |
5 |
7 |
|
4 |
4 |
4 |
9 |
4 |
|
5 |
3 |
3 |
7 |
4 |
|
13 |
1 |
7 |
3 |
8 |
9 |
2 |
8 |
5 |
10 |
9 |
|
3 |
8 |
10 |
10 |
9 |
|
4 |
3 |
9 |
6 |
5 |
|
5 |
7 |
10 |
5 |
7 |
|
14 |
1 |
9 |
7 |
5 |
5 |
2 |
7 |
3 |
3 |
7 |
|
3 |
6 |
5 |
5 |
10 |
|
4 |
6 |
5 |
7 |
7 |
|
5 |
8 |
5 |
10 |
6 |
|
15 |
1 |
5 |
6 |
5 |
6 |
2 |
5 |
5 |
7 |
5 |
|
3 |
8 |
4 |
6 |
10 |
|
4 |
6 |
3 |
4 |
3 |
|
5 |
4 |
8 |
10 |
10 |
|
16 |
1 |
7 |
3 |
4 |
9 |
2 |
8 |
8 |
5 |
9 |
|
3 |
9 |
9 |
9 |
10 |
|
4 |
8 |
8 |
6 |
10 |
|
16 |
5 |
10 |
8 |
10 |
8 |
17 |
1 |
5 |
6 |
6 |
6 |
2 |
5 |
5 |
5 |
10 |
|
3 |
9 |
4 |
6 |
10 |
|
4 |
5 |
7 |
6 |
8 |
|
5 |
8 |
7 |
8 |
7 |
|
18 |
1 |
10 |
5 |
7 |
7 |
2 |
3 |
4 |
4 |
9 |
|
3 |
7 |
9 |
10 |
7 |
|
4 |
6 |
4 |
5 |
8 |
|
5 |
5 |
7 |
3 |
3 |
|
19 |
1 |
7 |
10 |
10 |
5 |
2 |
8 |
10 |
7 |
5 |
|
3 |
8 |
9 |
3 |
10 |
|
4 |
4 |
3 |
4 |
3 |
|
5 |
3 |
3 |
8 |
9 |
|
20 |
1 |
4 |
8 |
10 |
5 |
2 |
9 |
8 |
10 |
9 |
|
3 |
8 |
8 |
3 |
5 |
|
4 |
6 |
9 |
4 |
6 |
|
5 |
7 |
6 |
4 |
7 |
|
21 |
1 |
10 |
5 |
8 |
8 |
2 |
9 |
6 |
6 |
5 |
|
3 |
8 |
8 |
4 |
8 |
|
4 |
5 |
7 |
3 |
9 |
|
5 |
10 |
10 |
9 |
5 |
|
22 |
1 |
4 |
3 |
9 |
9 |
2 |
7 |
5 |
4 |
4 |
|
3 |
5 |
5 |
8 |
5 |
|
4 |
6 |
4 |
3 |
9 |
|
5 |
8 |
10 |
9 |
9 |
|
Окончание табл. 1.5 |
|||||
Номер варианта |
Номер методики |
Оценки экспертов |
|||
1 |
2 |
3 |
4 |
||
23 |
1 |
7 |
3 |
5 |
10 |
2 |
8 |
10 |
10 |
7 |
|
3 |
5 |
8 |
10 |
3 |
|
4 |
6 |
3 |
8 |
5 |
|
5 |
10 |
10 |
3 |
3 |
|
24 |
1 |
3 |
7 |
3 |
6 |
2 |
8 |
10 |
10 |
10 |
|
3 |
5 |
7 |
4 |
6 |
|
4 |
9 |
7 |
4 |
4 |
|
5 |
4 |
8 |
8 |
5 |
|
25 |
1 |
4 |
7 |
5 |
6 |
2 |
9 |
8 |
5 |
6 |
|
3 |
10 |
9 |
9 |
7 |
|
4 |
8 |
4 |
6 |
5 |
|
5 |
5 |
7 |
9 |
8 |
|
КОНТРОЛЬНЫЕ ВОПРОСЫ
1. Как вычисляются ранги у альтернатив, которые эксперт считает эквивалентными?
2. Какие статистические оценки используются для получения выводов о значимости каждой методики?
3. Как оценить согласованность мнений двух экспертов?
4. Какая характеристика используется для оценки согласованности мнений экспертов по всем альтернативам?
5. В каком случае можно принять гипотезу о достаточной согласованности экспертов и чем можно воспользоваться для уточнения состава экспертов?