1.5 Выявление согласованности экспертов

Невозможно сделать обоснованный выбор на основании оценок экспертов, которые совершенно не согласованны (противоречивы) между собой. С одной стороны, полная согласованность экспертов вызывает подозрение в сговоре экспертов или в том, что один из экспертов смог своим авторитетом или инициативностью (что характерно для очных форм опроса) навязать всем единое мнение. С другой стороны, большая несогласованность экспертов создаёт проблему выбора между решениями, которые одни эксперты считают верными, а другие – совершенно неподходящими.

Согласованность экспертов определяется по формуле 1.3, как получена эта формула вы можете ознакомиться в Приложении А.

, (1.3)

где S – величина согласованности;

n – количество факторов;

X_i - сумма рангов экспертов по i-тому фактору;

- средняя сумма рангов экспертов.

, (1.4)

Величина согласованности, рассчитанная по данной формуле имеет своим недостатком различную максимальную величину данного показателя для анализа при различном количестве экспертов и факторов. Это не трудно заметить, если внимательно посмотреть на формулу 1.3. При увеличении количества экспертов увеличивается первые множитель n и увеличивается количество слагаемых во втором множителе (сумме квадратов разниц суммы рангов от средней суммы рангов).

Поэтому, для каждого исследования необходимо знать максимальную величину согласованности, что позволит определить согласованность экспертов в относительных величинах (конкордации):

, (1.5)

где W – коэффициент конкордации Кендела;

Х – фактические величины накопленных рангов;

M – величины накопленных рангов при полной согласованности экспертов

Как мы можем заметить, при расчёте относительной величины согласованности (коэффициент конкордации W), в формулах сократился показатель n, следовательно, при расчёте максимальной и фактической величины согласованности можно его также сократить. Чтобы не запутаться введём новую переменную L:

, (1.6)

Теперь формула коэффициента согласованности (конкордации) примет вид:

, (1.7)

Максимальная согласованность может быть определена по формуле 1.8 (как была выведена эта формула можете ознакомиться в приложении Б):

, (1.8)

где m – количество экспертов.

В случае, если эксперты нескольким факторам дали одинаковые ранги, то величину максимальной согласованности надо откорректировать на добавочный коэффициент максимальной согласованности (ДК). Формула для расчёта этого коэффициента приведена в 2.14 (как была выведена эта формула можете ознакомиться в приложении Б):

, (1.9)

где ДК – добавочный коэффициент максимальной согласованности

R – количество случаев, когда эксперты давали одинаковые ранги разным факторам

t_i – количество факторов, получивших одинаковые оценки в i-том случае.

Таким образом, максимальная согласованность экспертов для n факторов, m экспертов и произвольного количества одинаковых оценок, можно определить по формуле:

, (1.10)

или

, (1.11)

Таким образом, коэффициент конкордации Кендела (относительная величина согласованности) определяется по формуле 1.12

, (1.12)

Если W>0,9 , то мнения экспертов очень сильно согласованы (возможен сговор экспертов). Если 0,9>W>0,7 , то мнения экспертов согласованы. Если 0,7>W>0,5 , то мнения экспертов слабо согласованы.Если 0,5>W , то мнения экспертов не согласованы.