6.2. Экспертные методы выбора

Основная идея экспертных методов состоит в том, чтобы использовать интеллект людей, их способность искать и находить решение слабо формализованных задач. В методиках организации экспертных оценок внимание уделяется созданию благоприятных условий и нейтрализации факторов, неблагоприятно влияющих на работу экспертов.

Под экспертными оценками понимают комплекс логических и математических процедур, направленных на получение от специалистов информации, ее анализ и обобщение с целью подготовки и выработки рациональных решений.

Очень важную роль при этом играют факторы психологического характера. Прежде всего, эксперты должны быть освобождены от ответственности за результат экспертизы. Дело не только в том, что ЛПР не должно возлагать ответственность на других, но и в том, что сама ответственность накладывает психологические ограничения на характер выбора, а этого на стадии оценки альтернатив желательно избежать. Приходится также учитывать, что оценка, даваемая экспертом, может зависеть от межличностных отношений с другими экспертами и иногда от того, известна ли его оценка другим лицам. На ход экспертизы может повлиять и личная заинтересованность эксперта, т.е. его необъективность.

С другой стороны, сложность проблемы обычно выходит за рамки возможностей одного человека, а коллективная деятельность обычно открывает дополнительные возможности для взаимного стимулирования экспертов.

В разных случаях используют методики экспертиз, имеющие различные степень и характер взаимного влияния экспертов друг на друга:

• анонимные и открытые опросы и анкетирование,

• совещания,

• дискуссии,

• деловые игры,

• мозговой штурм и т.д.

Рассмотрим простейший вариант. Экспертам раздают анкеты с просьбой оценить предлагаемые альтернативы. Заполненные анкеты собирают, обрабатывают и полученную информацию в некотором обобщенном виде передают ЛПР.

Предположим, что эксперты оценивают альтернативы в числовых шкалах. Пусть Z_j(X_i) – оценка i-й альтернативы j-м экспертом (i=1,…, n; j=1, …, m). Оценки Z₁(X_i), … Z_m(X_i) можно рассматривать как «измерения» искомой «истинной» характеристики Z(X_i). В качестве приближения можно использовать выборочное среднее

Сложнее обстоит дело, когда альтернативы нельзя оценить сразу одним числом и экспертам предлагается дать оценки отдельно по каждому показателю. Например, оценка качества электроэнергии складывается из оценок несимметричности фаз, несинусоидальности токов, отклонений частоты от номинальной. В таких случаях имеем набор чисел Z_jk (X_i), где k – номер признака. Кроме этих чисел экспертов просят оценить степень важности λ_jk каждого показателя. Тогда

Естественно придать различные приоритеты («веса») мнениям экспертов, имеющих разную квалификацию. Определение коэффициента а_i компетентности j-го эксперта можно поручить самим экспертам. Пусть каждый из них (l-й) оценивает компетентность других экспертов числами 0≤а_lj≤1, при этом и свою собственную числом a_ll .

Усреднение дает

где m – количество экспертов.

В результате получают итоговую оценку

В тех случаях, когда эксперты лишь упорядочивают альтернативы, т.е. используют только порядковую шкалу, необходимость арифметических операций отпадает.

Методы экспертных оценок можно разделить на две группы:

• методы коллективной работы экспертной группы;

• методы получения индивидуального мнения членов экспертной группы.

Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе. Методы коллективной работы включают методы «мозговой атаки», «сценариев», «деловых игр», «совещаний» и «суда».

Методы получения индивидуального мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести методы анкетного опроса, интервью и методы «Делфи». Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.

Качественные методы системного анализа и принятия решений применяются, когда отсутствуют описания закономерностей систем в виде аналитических зависимостей.

Изучению возможностей и особенностей применения методов экспертных оценок посвящено много работ, в том числе имеется ряд обзоров. Термин «эксперт» происходит от латинского слова expert, означающий «опытный». Неизвестная характеристика исследуемого явления трактуется при этом обычно как случайная величина, отражением закона распределения которой является индивидуальная оценка специалиста-эксперта о достоверности и значимости того или иного события. Когда такие оценки получены от группы экспертов, предполагается, что истинное значение исследуемой характеристики находится внутри диапазона оценок и что обобщенное коллективное мнение является достоверным.

Применение классического частотного подхода к оценке вероятности при проведении экспертной оценки бывает затруднительным, а иногда и просто невозможным, так как исчисление вероятностей основано на законе больших чисел, выполнение которого предполагает массовый характер исследуемых явлений и наличия большого числа подтверждений в прошлом.

При использовании экспертных оценок обычно предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. В некоторых теоретических исследованиях отмечается, что это предположение не является очевидным. Но одновременно со ссылкой на экспериментальные исследования утверждается, что при соблюдении определенных требований в большинстве случаев групповые оценки надежнее индивидуальных. К числу таких требований относится: распределение оценок, полученных от экспертов, должно быть «гладким»; две групповые оценки, данные двумя одинаковыми подгруппами, выбранными случайным образом, должны быть близки.

Все множество проблем, решаемых методами экспертных оценок, делится на два класса. К первому относятся такие, в отношении которых имеется достаточное обеспечение информацией.

При этом методы опроса и обработки основываются на использовании принципа «хорошего измерителя», т. е. эксперт – качественный источник информации; групповое мнение экспертов близко к истинному решению. Применяются формальные приемы обработки индивидуальных экспертных оценок. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности в справедливости указанных гипотез недостаточно. В этом случае экспертов ухе нельзя рассматривать как «хороших измерителей» и необходимо осторожно подходить к обработке результатов экспертизы во избежание больших ошибок.

В литературе в основном рассматриваются вопросы экспертного оценивания для решения задач первого класса. Но и в этой ситуации необходимо помнить особенности экспертных оценок: они несут в себе как узкосубъективные черты, присущие каждому эксперту, так и коллективно-субъективные, присущие коллегии экспертов. И если первые устраняются в процессе обработки индивидуальных экспертных оценок, то вторые не исчезают, какие бы способы обработки ни применялись.

Для реализации методов экспертных оценок важную роль играет тщательная подготовка их проведения.

Этапы организации экспертизы:

• формирование цели экспертизы;

• разработка процедуры опроса;

• формирование группы экспертов;

• опрос, анализ и обработка информации.

При формулировке цели экспертизы разработчик прогноза должен выработать четкое представление о том, кем и для каких целей будут использованы результаты прогноза.

Прогноз может быть ориентирован на:

• повышение обоснованности решений, принимаемых плановыми органами;

• производство технических средств;

• оценку развития различных направлений научных исследований и технических идей и т. д.

В первом случае задача прогноза в основном состоит в определении желательности и необходимости отдельных событий и сроков их свершения. В других случаях задача прогноза должна состоять в определении принципиальной осуществимости и возможности свершения ряда событий в течение определенных промежутков времени.

Успех организации экспертизы во многом зависит от разработки рабочей программы экспертной оценки; оценки типа интервью, «докладная записка», метод комиссии, метод отнесенной оценки и др.

Решение задачи о выборе группы (коллектива) экспертов проводится в такой последовательности:

1. Составляется список вопросов, по которым желательно получить мнение экспертов.

2. Составляется список экспертов, включающий по возможности такое их число, чтобы априори можно быть более или менее уверенным в том, что эксперты могут в совокупности дать заключение по всему множеству вопросов списка.

3. Список вопросов рассылается каждому эксперту с просьбой определить свою компетентность по каждому вопросу, т.е. определить, сможет или не сможет он компетентно участвовать в рассмотрении данного вопроса при экспертизе.

4. Рассчитываются необходимые затраты времени и средств на проведение опроса каждого эксперта.

5. Ставится и решается задача об экспертах, т. е. задача осуществления такого выбора экспертов, чтобы по каждому вопросу можно было получить заключение, по крайней мере, одного эксперта и чтобы при этом затраты времени или средств на проведение опроса экспертов были минимальны.

При обработке материалов коллективной экспертной оценки используются методы теории ранговой корреляции. Для количественной оценки степени согласованности мнений экспертов применяется коэффициент конкордации

где

;

m – количество экспертов, j= ; n – количество рассматриваемых свойств, i= ; r_ij – место, которое заняло i-е свойство в ранжировке j-м экспертом; d_i – отклонение суммы рангов по j-му свойству от среднего арифметического сумм рангов по n свойствам.

Коэффициент конкордации W позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. Его значение находится в пределах 0≤W≤1; W=0 означает полную противоположность, а W= 1 ‒ полное совпадение ранжировок. Практически достоверность считается хорошей, если W=0,7...0,8.

Небольшое значение коэффициента конкордации, свидетельствующее о слабой согласованности мнений экспертов, является следствием следующих причин: в рассматриваемой совокупности экспертов действительно отсутствует общность мнений; внутри рассматриваемой совокупности экспертов существуют группы с высокой согласованностью мнений, однако обобщенные мнения таких групп противоположны.

Для наглядности представления о степени согласованности мнений двух любых экспертов А и В служит коэффициент парной ранговой корреляции

где Ψ_i – разность (по модулю) величин рангов оценок i-го свойства, назначенных экспертами А и В: Ψ_i= ;

T_A и T_B – показатели связанных рангов оценок экспертов А и В.

Коэффициент парной ранговой корреляции принимает значения ‒

1 ≤р≤ +1. Значение р=+1 соответствует полному совпадению оценок в рангах двух экспертов (полная согласованность мнений двух экспертов), а р= -1 – двум взаимно противоположным ранжировкам важности свойств (мнение одного эксперта противоположно мнению другого).

Помощь экспертов при принятии решений в сложных ситуациях неоценима. Однако существуют естественные пределы человеческих способностей при восприятии и обработке информации. Работу экспертов лимитируют не только межличностные отношения, но и внутренние психологические и физиологические причины. Оказывается, человек одновременно может оперировать лишь небольшим числом операндов (понятий, идей, моделей, альтернатив и т.д.). Психологи, говоря о пределе возможностей человека, иногда называют это законом «семь плюс-минус два». Кроме того, столкнувшись с очень сложной задачей, эксперт иногда проявляет непостоянство, неуверенность, нелогичность, стремление к резкому ее упрощению. Наконец, в ряде случаев играет роль и низкое быстродействие нервной и мышечной систем человека.

Во всех этих отношениях возможности ЭВМ превосходят способности человека, и возникает простая, но очень плодотворная идея создания единой системы, которая объединила бы возможности человека и машины и компенсировала их недостатки