Методы и процедуры экспертного оценивания. Метод ранжирования и его специфика.
Экспертные методы рассматривают не как способ выявить общественное мнение, а как один из возможных подходов к всестороннему изучению сложных явлений, в которых окончательное решение должен принять человек.
Одной из задач принятия решений, требующих привлечения экспертов, является необходимость качественной оценки альтернатив, необходимость получить информацию качественного характера, основанию на опыте и интуиции специалистов. Такие качественные оценки носят название экспертных оценок.
Для уменьшения субъективных факторов в оценках альтернатив работа с экспертами осуществляется с использованием специальных методических приемов и процедур, направленных на получение Коллективного суждения группы, превосходящего по качеству любое индивидуальное суждение.
Процесс организации системы экспертного оценивания включает следующие основные этапы.
1. Формирование экспертной группы в соответствии с целью работы.
2. Определение правил и порядка работы экспертной группы,3. Распределение потоков информации4. Формирование правил выработки коллективного мнения группы экспертов. 5. Формирование правил оценки компетентности экспертов.6. Анализ точек зрения экспертов.
Для получения необходимой информации при проведении экспертного оценивания применяют различные виды опроса экспертов-интервьюирование, дискуссии, анкетирование.
Метод ранжирования. Состоит в том, что эксперт предлагается присвоить числовые ранги каждому из приведенных анкете факторов. Например, ранг, равный единице, присваиваете наиболее важному, по мнению эксперта, фактору, а ранг, равный двул присваивается следующему по важности фактору и т.д. Ранжировани удобно применять в следующих ситуациях.
1. Когда необходимо упорядочить какие-либо объекты во времен) или пространстве (в этом случае интерес представляет имена ( взаимное пространственное либо временное расположение объектов, . не сравнение степени выраженности - интенсивности какого-либо качества). (Например, определение последовательности выступления участников конференции ).
2. Когда нужно упорядочить объекты в соответствии с каким-либо качеством, но при этом не требуется его точное измерение.
3. Когда какое-либо качество в принципе измеримо, однако настоящий момент не может быть измерено по причинам практического или теоретического характера.
Порядковые шкалы, получаемые в результате ранжирования, должны удовлетворять условию равенства числа рангов "n" числу ранжируемых объектов (от 1 до n).
Сумма рангов Sn, порченная в результате ранжирования "n" факторов, равна сумме чисел натурального ряда:
Если возникают трудности в четком разграничении между некоторыми факторами, то вводятся стандартизованные или связанные ранги (rcb). (связанный ранг - это усредненный, среднеарифметический ранг ).
Виды оценочных шкал в процедурах экспертного оценивания. Метод нормирования и его особенности.
При формализации экспертной информации наибольшее распространение получили следующие оценочные шкалы:
• балльная шкала, занимающая промежуточное положение между ранжированием и количественными измерениями. Более точно, балльная шкала - это среднее между ранговой шкалой и шкалой интервалов Неймана - Моргенштерна,
• ранговая шкала (или шкала порядка, или порядковая шкала) -лингвистический аналог балльной шкалы. В работе [31] подобные оценки названы балльными оценками второго порядка. Это шкала с оценками типа:
"очень хорошо", "хорошо", "удовлетворительно", "плохо", "очень плохо" и т.п.,
• шкалы интервалов Неймана - Моргенштерна,
• шкалы отношений,
• номинальные, или номинативные шкалы.
Балльные оценки занимают промежуточное положение между ранжированием и количественными измерениями. Поэтому анализ балльных оценок можно производить как "количественными методами", идеализированно рассматривая эти оценки как количественные, так и "качественными" методами, идеализированно представляя их ранжированиями (т.е. оценками в ранговой шкале). Лучше всего производить обработку балльных оценок дважды, методами обоих типов. Совпадение выводов (результатов), полученных на основе применения двух принципиально различных подходов, позволяет заключить, что эти выводы (т.е. оценки) основаны на самом материале, а не на методах его обработки.
Иногда эксперта просят при оценке следить за тем, чтобы равные расстояния между баллами соответствовали равным изменениям интенсивности его предпочтений.
В существующих методиках балльные оценки обычно рассматриваются как количественные. Простейший способ получения групповой оценки - вычисление средних баллов:
где: xij - оценка i-го объекта (фактора) j-м экспертом,
m - число экспертов.
Для отражения реального "неравенства" экспертов, возникающего из-за различий в компетентности, объективности и информированности, вводят весовые коэффициенты компетентности Q), j-(1, m). При нормированных весовых коэффициентах групповая оценка определяется следующей формулой :
Показатель компетентности должен отражать то, насколько близка оценка эксперта к "истинному" значению. Показатели Q) вычисляются либо на основе само- и взаимооценок компетентности членов группы, либо из анализа оценок объектов (факторов), проставленных экспертами в рассматриваемой экспертизе.