4.4.4. Проверка степени несогласованности и безразличия экспертов

Рассмотрим простейшие методы обработки данных, представленных в виде полученных от экспертов ответов на вопрос, который относится к вопросам открытого типа. Пусть, отвечая на поставленный вопрос, каждый из опрошенных m экспертов представил свой вариант ответа в виде ранжировки, включающей объекты, которые, по мнению эксперта, заслуживают того, чтобы быть отмечены. Пусть число объектов в ранжировке, полученной от i-го эксперта, равняется n_i, ( i = 1, … , m). Часть объектов при этом может быть упомянута сразу несколькими экспертами, тогда как другие объекты могут встретиться только в одной единственной ранжировке.

Обозначим через n общее число всех объектов, которые были отмечены в ответе хотя бы одного из экспертов. Ясно, что будет справедливо нестрогое неравенство

n ≤ , (63)

которое может обращаться в равенство лишь в том практически неосуществимом случае, когда каждый из экспертов перечислил в своей ранжировке такие объекты, которые не встречаются ни в одной из ранжировок, полученных от других экспертов. В ситуациях, встречаемых на практике, как правило, перечень ранжируемых объектов совпадает у всех экспертов на 70–80 %, и, следовательно, в (63) имеет место строгое неравенство.

Постоим матрицу размерами mn , элементами которой служат ранги R_i,j , которые были получены j-м объектом ( j = 1, … , n) в ранжировке i-го эксперта (i = 1, … , m). Изначально в данной матрице будут наблюдаться «пробелы», поскольку не все n объектов были ранжированы каждым из экспертов. Для любого i = 1,…, m i-я строка матрицы, которая соответствует данному i-му эксперту, содержит число таких пробелов, равное, как легко заметить, n – n_i. Чтобы заполнить эти пробелы, будем считать, что если тот или иной объект не был включен i-м экспертом в число ранжированных, то это означает, что эксперт оценивает качество данного объекта ниже, чем качество тех n_i объектов, которые вошли в его ранжировку. Следовательно, каждому из (n – n_i) объектов, не включенных в ранжировку, может быть выставлен одинаковый ранг, который ниже, чем ранги n_i присутствующих в ней объектов.

Рассуждая аналогичным образом для каждого из экспертов, мы получим следующее простое правило заполнения пробелов в матрице рангов R_i,j .

Для того, чтобы все строки матрицы рангов после заполнения имеющихся в ней пробелов удовлетворяли условию (23), следует на место каждого из n – n_i пробелов в i-й строке данной матрицы поставить ранг, равный

. (64)

Дальнейшая обработка пополненной таким образом матрицы рангов состоит в следующем. Вычислим суммы

S_j = (65)

для каждого из имеющихся n объектов. Каждая такая сумма может принимать значения в пределах от своего минимально возможного значения S_min = m до S_max= m·n. Случай S_j = S_min означает, что все m экспертов единодушно поставили j-й объект на первое место. Если же оказалось, что S_j = S_max , то это тот редкий случай, когда, во-первых, у всех экспертов множества ранжированных объектов совпадают, а, во-вторых, j-й объект был признан всеми экспертами наихудшим.

Общая сумма всех рангов, содержащихся в таблице, будет

= = = = . (66)

Разделив (64) на общее число объектов n, можно найти S_cp – «среднюю сумму рангов», приходящуюся на один оцениваемый объект

S_cp = . (67)

Величина (67) может рассматриваться как своего рода граница, разделяющая все объекты на две категории:

1) качество которых «выше среднего»: S_j > S_cp,

2) качество которых «ниже среднего»: S_j < S_cp.

Уже на этом этапе обработки экспертных оценок можно получить ответ на основной вопрос, который чаще всего ставится перед комитетом экспертов: какой объект является наиболее предпочтительным? Легко видеть, что таковым следует признать объект, который имеет наименьшую по сравнению с остальными объектами сумму (65). Однако такой формальный метод таит в себе опасность прийти к недостаточно обоснованному выводу. Прежде чем определять наилучший по формальным признакам объект, следует ответить на вопрос о том, имеет ли вообще данный комитет экспертов согласованную точку зрения. Ведь может оказаться, что мнения различных экспертов значительно отличаются друг от друга (например, одна часть экспертов придерживается взглядов одной научной школы, а другая – другой). В этом случае (назовем его случай несогласованности мнений экспертов) большинство из сумм рангов S_j будут несильно различаться между собой, поскольку высокие ранги, которые получил тот или иной объект у одной части комитета экспертов, будут компенсироваться низкими рангами, полученными им у других экспертов. Несогласованность может, в частности, проявляться и в том, что все n_i намного меньше, чем n, т.е. заметная часть объектов, включенных в ранжировку одним экспертом, была вообще не упомянута большинством других экспертов.

Кроме несогласованности следует опасаться и случая безразличия комитета экспертов, т.е. когда эксперты не различают многие из объектов по уровню их качества. Этот случай проявляется в том, что большинство ранжировок содержат много связных рангов.

Итак, требуется критерий, позволяющий проверить, имеет ли место в данном конкретном случае несогласованность или безразличие, или же результаты опроса позволяют выявить согласованную точку зрения комитета экспертов.

По аналогии с дисперсией, которая, как известно, служит показателем разброса значений случайной величины, рассмотрим сумму

. (68)

В силу приведенных выше соображений малые значения (87) будут указывать на отсутствие у экспертов общего согласованного мнения.

С помощью суммы (68) может быть найден так называемый коэффициент конкордации W, который служит в качестве критерия согласованности мнений комитета экспертов ¹:

, (69)

где T_i - поправочные коэффициенты

, (70)

необходимые для расчета коэффициента конкордации;

k_i – число различных уровней, выделенных i-м экспертом;

n_i,l – число элементов, которые i-м экспертом были отнесены к l-му уровню (l = 1,…, k_i ).

Можно показать, что каковы бы ни были результаты ранжировки значение коэффициента конкордации всегда лежит в пределах 0 ≤ W ≤ 1. При этом случай W = 0 соответствует полной несогласованности мнений экспертов или их безразличию, так как при этом все S_j = S_cp. Напротив, чем больше значение W, тем выше согласованность мнений комитета экспертов. При W = 1 имеет место полное единодушие экспертов, которые все одинаковым образом упорядочивают данное множество объектов.

Большие значения коэффициента конкордации W указывают на согласованность мнений комитета экспертов. Остается ответить на вопрос о том, где та граница, которая отделяет «большие» значения W от «маленьких». Для ответа на этот вопрос воспользуемся той же моделью, которая уже применялась для ранговых коэффициентов корреляции. Предположим, что любые результаты ранжировки, получаемые от m экспертов равновероятны, то есть имеет место полная несогласованность мнений. В этих условиях оказывается, что величина m(n – 1)W подчиняется распределению хи-квадрат с (n – 1) степенями свободы. Следовательно, если для выбранного уровня значимости α выполнено неравенство

χ²_расчет = m(n – 1)W > χ²_табл , (71)

где χ²_табл – α-процентная точка распределения хи-квадрат, то гипотезу об отсутствии согласованности следует отвергнуть. Этот вывод принято интерпретировать как наличие согласованного мнения у данного комитета экспертов.

На практике, если условие (71) выполняется, то принимается окончательное решение, согласно которому оцениваемое качество объектов упорядочено в соответствии с упорядочением сумм S_j их рангов. Если же коэффициент конкордации мал, так что неравенство (71) не выполнено, то рекомендуется, прежде всего, попытаться добиться большей однородности комитета экспертов, тем самым повысив его согласованность. В самом деле, возможно, что низкая степень согласованности вызвана мнением одного-двух экспертов, чья точка зрения (или чьи критерии оценивания) резко отличаются от остальных. Тогда, если исключить этих одного-двух экспертов, вполне возможно, что результат обработки оценок остальных экспертов приведет к согласованному результату.

Чтобы определить экспертов, которых, возможно, следует исключить (их называют диссидентами), поступают следующим образом. Пусть R(S_j) обозначает ранг j–го объекта в итоговом упорядочении: R(S_j) = 1 для объекта с минимальной суммой S_j и т.д., … , R(S_j) = n для объекта, имеющего максимальную сумму рангов. Обозначим

∆ R_i,j = │R_i,j – R(S_j) │ (72)

- абсолютную величину разности между тем рангом, который i-й эксперт присвоил j–му объекту, и рангом, который этот же объект получил в итоговой ранжировке. Ясно, что сумма

(73)

будет указывать на то, в какой мере оценки i-го эксперта отличаются от общей точки зрения всего комитета экспертов в целом. Таким образом, если (71) не выполняется, то из числа экспертов следует в первую очередь исключить того, у которого сумма (73) максимальна.

Далее, с учетом произведенного сокращения числа экспертов следует пересчитать заново значения величин (65), (67) и коэффициента конкордации (69). Если вновь вычисленное значение W будет удовлетворять (71), то цель достигнута: новый (сокращенный) состав экспертов имеет согласованное мнение, которое и может быть принято за окончательное решение. Если же по-прежнему (71) не выполнено, то есть согласованное мнение не выражено, то процесс сокращения комитета может быть повторен еще столько раз, сколько это необходимо.

Если конечная цель обработки данных экспертного опроса ограничена лишь определением наиболее важного (качественного) объекта, то описанный алгоритм вполне приемлем, разумеется, если искомое согласованное мнение будет в конечном итоге получено. Однако поставленная конечная цель может быть шире, например, она может состоять в выявлении как можно большего числа оригинальных мнений, поскольку нередко именно «диссиденты» способны предложить нестандартный подход к оцениваемой ситуации, и поэтому просто проигнорировать мнение меньшинства было бы неразумно. В таких случаях требуется более углубленный анализ содержания задачи и менее формальный подход к ее решению. Однако и здесь, при наличии явно выраженного разнообразия в подходах различных групп экспертов, будет весьма полезным вычислить ранговые коэффициенты корреляции между ранжировками, полученными от разных экспертов, с тем, чтобы сделать более наглядной структуру комитета экспертов, т. е. выявить группировки экспертов, выражающих различные подходы к оцениваемым показателям.