ATT00025-Экспертные оценки от Анохина

ПОСТАНОВКА ЭКСПЕРТНОГО ОПРОСА

Шкалы порядка используются при сравнительной оценке объектов, когда определяется лишь порядок их предпочтения (ранжирование). Различаются три разновидности порядковых шкал:

шкалы простого порядка, если любую пару оцениваемых объектов можно упорядочить по предпочтению (очередность, призовые места); шкалы слабого порядка, если не каждую пару можно упорядочить по предпочтению – некоторые объекты считаются равными (конкурс-

ные премии – одна первая, две вторых, две третьих); шкалы частичного порядка, если имеются пары объектов, несрав-

нимых между собой (что лучше – плавание или слушание музыки). Известны так называемые модифицированные порядковые шкалы: шкала твердости минералов по Моосу – введена в 1811 г. немец-

ким минералогом Ф. Моосом, постулировавшим десять градаций твердости (из двух минералов тверже тот, который оставляет на другом след – царапины, вмятины – при соприкосновении): 1 – тальк, 2 – гипс, 3 – кальций, 4 – флюорит, 5 – апатит, 6 – ортоклаз, 7 – кварц, 8 – топаз, 9 – корунд, 10 – алмаз;

шкала силы ветра по Бофорту – 12-балльная шкала, предложена в 1806 г. английским гидрографом и картографом адмиралом Ф. Бофортом и определяет силу ветра по характеру волнения моря: 0 – штиль, 4

– умеренный ветер, 6 – сильный ветер, 10 – шторм, 12 – ураган; шкала магнитуд землетрясений по Рихтеру – 12-балльная шкала,

предложена в 1935 г. американским сейсмологом Ч. Рихтером и позволяет оценить энергию сейсмических волн в зависимости от их последствий;

балльные шкалы оценки знаний – 5-балльные (в школах), 2-балль- ные (зачет, незачет), 4-балльные (экзамены), 10-балльные (в некоторых европейских странах), 100-балльные (в англоязычных странах).

В порядковых шкалах отношение порядка ничего не говорит о величине предпочтения (поэтому оценки объектов, даже если они изображены цифрами, нельзя рассматривать как числа в арифметическом смысле). Допустимой операцией над оценками является ранжирование, позволяющее установить относительную предпочтительность объекта ai :

n

ri = j∑=1π ij ,

51

ГЛАВА 3

1 Равная важность

3 Умеренное превосходство объекта ai над объектом aj 5 Существенное или сильное превосходство 7 Значительное превосходство

9 Очень сильное (подавляющее) превосходство

2,4,6,8 Промежуточные (компромиссные) значения

Обратные

величины Обратное превосходство (объекта aj над объектом ai) 1/2-1/9

52

ПОСТАНОВКА ЭКСПЕРТНОГО ОПРОСА

3.2.2. Количественные шкалы

Шкала интервалов. Шкала, в которой численные значения определяются с точностью до линейных преобразований ϕ (x)=α x+β , α >0.

В шкалах интервалов сохраняются отношения разностей численных оценок объектов. Интервальные шкалы могут иметь произвольные начала отсчета и единицы масштаба.

Примерами величин, измеряемых в интервальных шкалах, являются температура (по Цельсию, Фаренгейту, Кельвину) и высота местности (метры, футы). Известно, что связь между шкалами Фаренгейта и Цельсия выражается формулой F=5C/9+32. Так, увеличение температуры воды при ее нагреве от 9 до 18о по шкале Цельсия соответствует увеличению температуры от 37 до 42о по шкале Фаренгейта. Бессмысленно при этом утверждать, что температура увеличилась в два раза (хотя для первого опыта это и справедливо). Высоту принято отсчитывать от уровня моря, но это привело к тому, что большая часть территории Голландии имеет ... отрицательную высоту, т.к. расположена ниже уровня моря.

В интервальной шкале единственной допустимой операцией над оценками является определение интервала между ними:

∆ ij = xi –xj ,

где xi , xj – оценки в интервальной шкале объектов ai и aj соответственно. Интервалы при этом имеют смысл настоящих чисел, над которы-

ми можно выполнять любые арифметические операции.

Шкала разностей. Шкала, в которой численные значения определяются с точностью до преобразований сдвига ϕ (x)=x+β .

В шкалах разностей сохраняются разности численных оценок объектов и меняется лишь начало отсчета. Более общим случаем шкалы разностей является периодическая (циклическая) шкала, численные значения которой определяются с точностью до преобразований сдвига ϕ (x)= x + kβ , k =0,1,2 ... (постоянная k называется периодом шкалы).

Примером величины, измеряемой в шкале разностей, является летоисчисление. Начало летоисчисления у христиан установлено от рождества Христова, а у мусульман – на 622 г. позднее – от переезда Мухаммеда в Медину. Единицы летоисчисления привязаны к относи-

53

ГЛАВА 3

тельным перемещениям Солнца и Луны. В циклических шкалах измеряется направление (шкала компаса, роза ветров), время суток (циферблат), фаза колебаний.

В связи с отсутствием абсолютного нуля операции над оценками в шкале разностей идентичны операциям в шкале интервалов.

Шкала отношений. Шкала, в которой численные значения определяются с точностью до преобразований подобия (растяжения) ϕ (x)=

= α x, α >0.

В шкалах отношений остаются неизменными отношения численных оценок объектов. Шкалы отношений имеют абсолютный нуль, хотя свобода в выборе единицы масштаба остается.

Примерами величин, природа которых соответствует шкале отношений, являются длина (километр, миля), электрическое сопротивление, деньги, вес (килограмм, фунт). Так, при измерении веса предмета в килограммах и фунтах получаемые численные значения различны, однако отношение весов любых двух предметов одинаково и не меняется при переходе от одной шкалы к другой.

Над оценками в шкале отношений можно выполнять любые арифметические операции.

Абсолютная шкала. Шкала, в которой численные значения определяются с точностью до тождественных преобразований ϕ (x)= x.

Вообще говоря, абсолютная шкала единственна. Число, являющееся результатом измерения в абсолютной шкале, определяется однозначно. Важной особенностью абсолютной шкалы по сравнению с остальными является ее отвлеченность (безразмерность) и абсолютность нуля и единицы масштаба. Такими свойствами обладает числовая ось, используемая для измерения количества, вероятности.

Над оценками в абсолютной шкале можно производить все операции (включая их использование в качестве показателя степени и аргумента логарифма).

Нелинейные шкалы. Шкалы, в которых численные значения определяются с точностью до нелинейных преобразований ϕ (x)=α xβ (сте- пенная шкала), ϕ (x)=α exp β x (экспоненциальная шкала), ϕ (x) = =α logβ x (логарифмическая шкала).

Нелинейные шкалы имеют абсолютный нуль, вследствие чего с их оценками можно производить любые арифметические действия.

54

ПОСТАНОВКА ЭКСПЕРТНОГО ОПРОСА

3.2.3. Свойства шкал

Чем меньше множество числовых систем, в которые гомоморфно отображается система < A, RA>, тем «сильнее» шкала. Очевидно, что самой сильной является абсолютная шкала, а абсолютные оценки – наиболее строгими. Качественные шкалы гораздо слабее количественных, а оценки в них являются наименее строгими. Множество числовых систем, в которые могут быть преобразованы слабые шкалы, образуют очень широкий класс. Наименее слабой среди качественных шкал является шкала гиперпорядка. Рассмотренные в настоящем разделе типы шкал, упорядоченные по мере усиления, сведены в табл. 4.

Отметим еще одно важное свойство. Более сильные шкалы наследуют операции и отношения, определенные на всех предыдущих, более слабых шкалах. Так, сохранение отношения интервалов, определенное на интервальной шкале, справедливо для всех количественных шкал, а вычисление символа Кронекера, разрешенное в самых слабых шкалах, доступно и во всех остальных типах шкал. В табл. 4 для каждого типа шкал указываются лишь новые операции и отношения и не повторяются те, которые унаследованы от предыдущих типов (исключение составляет ненаследуемое свойство периодичности). Наследование отношений означает также, что более сильные шкалы можно преобразовывать в более слабые (однако это зачастую сопровождается потерей части информации).

3.2.4. Разработка шкалы

Процедура разработки шкал включает в себя три этапа.

1. Определение отношения, которому подчиняется оцениваемая величина и выбор типа шкалы.

2. Идентификация шкалы, состоящая в следующем:

а) для количественных шкал – определение диапазона значений, коэффициента нормирования, числа разбиений и цены деления, удобных для оценивания, единицы масштаба и допустимой погрешности оценивания;

б) для гиперпорядковой шкалы – определение числа степеней пре-

55

ГЛАВА 3

восходства объектов друг над другом; в) для номинальной шкалы – идентификация классов, образую-

щих область допустимых оценок; г) для нечеткой шкалы – определение множества значений лингви-

стической переменной и описание соответствующих функций принадлежности.

3. Семантическая интерпретация значений шкалы, раскрывающая эксперту смысл и содержание его оценок.

Выбор типа шкалы должен ориентироваться на природу оцениваемой величины, объективные отношения, которым она подчинена, степень ее изученности и характер экспертных суждений по этому поводу. Если эксперт может не только сказать, какой из объектов предпочтительнее, но и указать, во сколько раз или на сколько условных единиц он предпочтительнее, можно использовать гиперпорядковую или количественные шкалы. В тех случаях, когда эксперт затрудняется определить степень превосходства, необходимо ограничиться лишь качественными оценками.

Чем сильнее шкала, тем больше сведений об изучаемом явлении дают сделанные в ней оценки. Естественно, что количественные оценки являются наиболее информативными. Однако чрезмерное увлечение количественными оценками может привести к неверным результатам. Так, в сомнительных ситуациях лучше выбрать более слабую шкалу (это приведет лишь к потере части полезной информации), чем применять более сильную шкалу – полученные данные на самом деле не будут иметь той силы, на которую ориентируется их обработка.

Помимо указанных моментов качество разработанной шкалы зависит от таких ее свойств как полнота, избыточность, адекватность и др. Некоторые из этих свойств могут быть исследованы с помощью частотной диаграммы (гистограммы) использования числовых значений шкалы экспертами в процессе оценивания. Так, на гистограмме выделяются редко используемые (или вообще не используемые) промежуточные значения шкалы, свидетельствующие об избыточном числе разбиений.

Чрезвычайно важным является также достижение однозначной или близкой субъективной интерпретации шкалы различными экспертами. В качестве показателей, позволяющих оценить эту характеристику, могут использоваться математическое ожидание и дисперсия

56

ПОСТАНОВКА ЭКСПЕРТНОГО ОПРОСА

частоты использования значений шкалы каждым экспертом. Существенные различия между этими параметрами для каждого эксперта свидетельствуют о неоднозначном восприятии шкалы.

57

ГЛАВА 3

3.3.Способы оценивания

3.3.1.Способы качественного оценивания

2) степень сходства объектов –

π ij =µaj (ai ) – степень принадлежности объекта ai классу, которому принадлежит aj (0 ≤ µ ≤ 1).

Если при разбиении объектов на классы выполняется свойство транзитивности (т.е. отсутствует непоследовательность суждений, когда эксперт относит к одному классу пары объектов a1 и a2, a2 и a3, но в то же время объекты a1 и a3 относит к разным классам), получаем четкую (в первом случае) и нечеткую (во втором случае) классификацию объектов.

При указании предпочтительности для каждой пары объектов ai и aj могут устанавливаться

1) факт предпочтения одного объекта по отношению к другому –

58

ПОСТАНОВКА ЭКСПЕРТНОГО ОПРОСА

Результаты оценки предпочтительности представляются в виде квадратной матрицы парных сравнений П={π ij | i, j =1... n} или графа (правильного многоугольника) предпочтений G: A× П→ A, дуги которого направлены от более предпочтительного объекта к менее предпочтительному. На рис. 21 приведены примеры матрицы и многоугольника для первого из четырех рассмотренных выше случаев указания предпочтительности. Если при этом выполняется свойство транзитивности (т.е. отсутствует непоследовательность суждений, когда эксперт указывает, что объект a1 предпочтительнее объекта a2 , a2 предпочтительнее a3 и в то же время a3 предпочтительнее a1 (см. цикл a1→ a2→ a3→ a1 на рис. 21)), получаем простое упорядочение (ранжирование). Если транзитивность выполняется во втором случае, то получаем слабое упорядочение, в третьем – частичное упорядочение, в четвертом – гиперупорядочение.

Методы ранжирования. Эксперту предъявляется весь набор объектов, подлежащих оцениванию, и предлагается упорядочить их по предпочтениям. Наиболее известны два способа ранжирования.

При первом способе эксперту предъявляется весь набор объектов и предлагается указать наиболее предпочтительный. Указанный объект исключается из дальнейшего рассмотрения – его ранг определен, после чего выбирается наиболее предпочтительный объект из ос-

59

ГЛАВА 3

Рис. 21. Матрица парных сравнений (à) и многоугольник предпочтений (á)

тавшихся. Процесс продолжается до тех пор, пока не останется последний объект.

При втором способе эксперту предъявляется часть объектов (например, два) и предлагается упорядочить их по предпочтениям. Затем добавляется один новый объект и эксперту предлагается указать его место среди уже проранжированных. Процесс заканчивается, когда проранжируется последний объект.

Оба способа позволяют выполнить простое упорядочение. При частичном упорядочении (если существуют несравнимые объекты) используется только второй способ.

Метод множественных сравнений. Отличается от парных сравне-

ний тем, что эксперту последовательно предъявляются не пары, а тройки, четверки и т.д. объектов. Эксперт их упорядочивает по важности или разбивает на классы. Множественные сравнения занимают промежуточное положение между парными сравнениями и ранжированием. С одной стороны, они позволяют использовать больший, чем при парных сравнениях объем информации одновременно, а с другой, - уменьшить до разумных пределов объем информации, одновременно перерабатываемой экспертом при ранжировании.

Метод векторов предпочтения. Эксперту предъявляется весь набор объектов, для каждого из которых он должен указать число объектов, превосходящих данный, не указывая при этом, какие именно объекты являются более предпочтительными. Результатом оценки является вектор предпочтений Λ ={λ i | i =1... n}, характеризующий относительную предпочтительность (вес, важность, значимость и т.д.)

60