4.7 Классификация и систематизация

Классификация – это систематизированное распределение явлений и объектов на определённые группы, классы, позиции, виды на основании их сходства и различия. Основанием классификации служит признак или несколько признаков.

Система — это всегда некоторая целостность, представляющая собой совокупность элементов, функциональные свойства и возможные состояния которой обусловлены не только составом, строением и т. п. составляющих ее элементов, но и характером их взаимных связей.

Для изучения объекта как системы требуется и особый, системный подход к его познанию, который должен учитывать качественное своеобразие системы по отношению к своим элементам (т. е. что она — как целостность — обладает свойствами, которых нет у составляющих ее элементов).

Тема 5. Методы экспертных оценок

5.1Область применения экспертных методов

5.2Подготовка и проведение экспертизы

5.3Методы индивидуальных экспертных оценок

5.4Методы коллективных экспертных оценок

5.5Методы обработки информации, получаемой от экспертов

5.1 Область применения экспертных методов

Методы экспертных оценок в прогнозировании и перспективном планировании научно-технического прогресса применяются в следующих случаях:

а) в условиях отсутствия достаточно представительной и достоверной статистики характеристики объекта (например, лазеры, голографические запоминающие устройства, рациональное использование водных ресурсов на предприятиях);

б) в условиях большой неопределенности среды функционирования объекта

(например, прогнозов человеко-машинной системы в космосе или учет взаимовлияния областей науки и техники);

в) при средне- и долгосрочном прогнозировании объектов новых отраслей промышленности, подверженных сильному влиянию новых открытий в фундаментальных науках (например, микробиологическая промышленность, квантовая электроника, атомное машиностроение);

г) в условиях дефицита времени или экстремальных ситуациях.

Существует две категории экспертов - это узкие специалисты и специалисты широкого профиля, обеспечивающие формулирование крупных проблем и построение моделей. Выбор экспертов для прогноза производится на основе их репутации среди определенной категории специалистов.

5.2 Подготовка и проведение экспертизы

«Эксперт» в дословном переводе с латинского языка означает «опытный». Поэтому и в формализованном, и в неформализованном способах определения эксперта значительное место занимают профессиональный опыт и развитая на его основе интуиция. Условия необходимости и достаточности отнесения специалиста к категории экспертов вводятся следующим образом.

Важно установить не абсолютную степень надежности экспертной оценки, а степень надежности по сравнению с оценкой среднего специалиста, а также корреляцию между вероятностью его прогнозной оценки и надежностью класса тех гипотез, которыми оперирует эксперт. В общем, нужно определить, что такое эксперт. Перечислим некоторые требования, которым должен удовлетворять эксперт:

14

1)оценки эксперта должны быть стабильны во времени и транзитивны;

2)наличие дополнительной информации о прогнозируемых признаках лишь улучшает оценку эксперта;

3)эксперт должен быть признанным специалистом в данной области знаний;

4)эксперт должен обладать некоторым опытом успешных прогнозов в данной области знаний.

Характеризуя экспертов, следует иметь в виду, что в результате выработки оценок могут иметь место ошибки двух видов.

Ошибки первого вида известны в технике измерений как систематические, ошибки второго вида — как случайные. Эксперт, склонный к ошибкам первого вида, выдает значения, которые устойчиво отличаются от истинного в сторону увеличения или уменьшения. Полагают, что ошибки этого вида связаны со складом ума экспертов. Для коррекции систематических ошибок можно применять поправочные коэффициенты или же использовать специально разработанные тренировочные игры.

Ошибки второго вида характеризуются величиной дисперсии. Исходя из анализа основных видов ошибок при вынесении экспертных суждений, можно добавить к рассмотренному ранее перечню требований к экспертам еще одно. Смысл его состоит в том, что следует предпочесть эксперта, оценки которого имеют малую дисперсию и систематическое отклонение средней ошибки от нуля, эксперту со средней ошибкой, равной нулю, но с большей дисперсией. К сожалению, априори определить способность человека делать правильные экспертные оценки невозможно. Важным средством подготовки экспертов являются специальные тренировочные игры.

5.3Методы индивидуальных экспертных оценок

Методы индивидуальных экспертных оценок имеют несколько разновидностей: метод «интервью», аналитический метод, метод написания сценария (дерево целей).

При методе «интервью» происходит непосредственный контакт эксперта со специалистом по схеме «вопрос-ответ», в ходе которого прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта.

При аналитическом методе осуществляется логический анализ какой-либо прогнозируемой ситуации, составляются докладные записки. Он предполагает самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта.

Метод написания сценария основан на определении логики процесса или явления при различных условиях во времени. Основное назначение сценария — определение генеральной цели развития объекта прогнозирования, выявление основных факторов фона и формулирование критериев для оценки верхнего уровня дерева целей. Ценность сценария тем выше, чем степень неопределенности, т.е. чем больше степень согласования мнений экспертов в осуществимости событий, в развитии процесса и т.д.

Широко используется при анализе и прогнозе систем прогнозный граф и "дерево целей". Графом называют фигуру, состоящую из точек-вершин, соединенных отрезками-ребрами. "Дерево целей" — это граф-дерево, выражающее отношение между вершинами-этапами или проблемами достижения цели. Каждая вершина представляет собой цель для всех исходящих для нее ветвей.

"Дерево целей" предполагает выделение нескольких структурных или иерархических уровней. Каждая цель верхнего уровня должна быть представлена в виде подцелей следующего уровня таким образом, чтобы объединение понятий подцелей полностью определяло понятие исходной цели.

15

При разработке «дерева целей» используются следующие основные правила:

1.Конкретность формулировок целей.

2.Сопоставимость целей каждого уровня по масштабу и значению.

3.Измеримость - формулировка цели должна обеспечить возможности количественной или порядковой оценки степени ее достижения.

4.Конъюнктивность - каждая цель верхнего уровня должна быть представлена в виде подцелей следующего уровня таким образом, чтобы объединение понятий подцелей полностью определяло понятие исходной цели.

5.Непрерывность, полнота, последовательность разложения цели.

6.Полный охват подцелями каждой цели вышестоящего уровня и исключение элементов дублирования в целях на каждом уровне.

7.Разложение целей на соответствующие подцели осуществляется таким образом, чтобы в число подцелей не включались альтернативные способы реализации цели.

Основные преимущества вышеперечисленных методов — возможность максимально использовать индивидуальные способности экспертов, при этом оказывая незначительное психологическое давление на отдельных работников.

Недостатком методов считается ограниченность знаний специалиста-эксперта в смежных областях знаний.

5.4Методы коллективных экспертных оценок

Группа методов коллективных экспертных оценок основана на том, что при коллективном мышлении выше точность результата, а при обработке индивидуальных независимых оценок могут возникнуть продуктивные идеи.

Методы коллективных экспертных оценок имеют следующие разновидности: метод «комиссий», метод «Дельфи», метод «коллективной генерации идей» («мозговой атаки»), метод морфологического анализа и т.д.

Метод «комиссий» имеет следующее содержание:

1.создается рабочая группа (функции: назначение экспертов, проведение опроса, обработка материала, анализ результатов коллективной экспертной оценки);

2.уточняются основные направления развития объекта, и составляется матрица, которая отображает генеральную цель, подцели и средства их достижения, т.е. направления научных исследований и разработок, результаты которых могут быть использованы для достижения цели;

3.разрабатываются вопросы для экспертов, которые определяются спецификой прогнозируемого объекта;

4.проводится опрос экспертов и статистическая обработка материалов, которые характеризуют обобщенное мнение и степень согласованности индивидуальных оценок экспертов.

Метод "635"— разновидность "мозговой атаки". Цифры 6, 3, 5 обозначают следующее: 6 участников, каждый из которых должен записать 3 идеи в течение 5 мин. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив по 18 идей, в общей сложности — 108.

Метод «Дельфи» — один из наиболее распространенных методов экспертных оценок. Метод "Дельфи "разработан в США в 1964 г. Его основными особенностями являются: анонимность экспертов, полный отказ от личных контактов экспертов и коллективных обсуждений; многотуровая процедура опроса экспертов посредством их анкетирования; обеспечение экспертов информацией, включая и обмен между экспертами после каждого тура опроса при сохранении анонимности оценок, аргументации и критики; обоснование ответов экспертов по запросу организаторов.

16

Метод «коллективной генерации идей» включает два элемента: выявление вероятностных вариантов развития объектов прогнозирования и их оценка. При «мозговой атаке» сначала активизируются творческий потенциал специалистов, что находит отражение в генерации определенной идеи. Затем следует процесс деструктирования (разрушения, критики) этой идеи и формулируется контридея. Это позволяет за короткое время путем вовлечения всех экспертов в активный творческий процесс получить продуктивные результаты.

Метод морфологического анализа представляет собой упорядоченный способ рассмотрения объекта и получения систематизированной информации по всем возможным вариантам его развития. Он включает ряд приемов, имеющих единый принцип действия: систематизированное рассмотрение характеристик объекта, стремление не пропустить ни одной из них, ничего не отбрасывать без предварительного исчерпывающего исследования.

5.5 Методы обработки информации, получаемой от экспертов

Ранжированием называется расположение показателей (факторов, явлений, объектов) в порядке возрастания (убывания) некоторого общего признака.

Ранжирование применяется в следующих случаях:

1 Если рассматриваемые показатели имеют различную природу.

2 Если представляет интерес только взаимное упорядоченное (пространственное или временное) расположение объектов.

3 Если часть показателей измерить невозможно или измерение в настоящее время затруднительно.

Ранжирование осуществляется следующим образом. Каждый эксперт приписывает объектам ранжирования номера натурального ряда , 2, 3, ..., п,... (ранги) в порядке возрастания (убывания) заданного качества (признака, критерия и т. п.). Мера этого качества в каждом объекте определяется при этом экспертом чисто субъективно, с точки зрения его опыта, знаний и предположений и т. д. После ранжирования, проведенного экспертами, осуществляется стандартизация рангов. Она необходима в том случае, если некоторым S объектам присвоен один и тот же номер, например, объекты поделили n1 - n места. Тогда им присваивается стандартизированный ранг,

где xi – ранг i –го объекта.

Если ранжирование осуществляется несколькими экспертами, то процедурой ранжирования объектов предусматривается вначале расчет сумы стандартизированных рангов, указанных группой экспертов для каждого из исследуемых объектов по формуле:

i=1

где m - количество экспертов,

Xij - стандартизированный ранг, назначенный i-м экспертом для j-го объекта. После этого ранг 1 присваивают объекту, получившему наименьший суммарный

17

ранг и т. д., а объекту, получившему наибольший суммарный ранг, присваивают результирующий ранг n , равный числу объектов. Наиболее надежна эта процедура при n<10. (см.пример 1)

Полученная от экспертов информация может быть использована для определения коэффициентов весомости различных показателей, характеризующих некоторый объект, процесс или явление, например, коэффициентов весомости показателей качества изделий:

i=1 j=1

где m — количество экспертов; n — количество показателей качества; kj — коэффициент весомости j-го показателя качества изделия.

Коэффициенты весомости удовлетворяют очевидному условию:

Метод непосредственной оценки.

Эксперт должен каждому параметру (объекту, фактору) приписать определенный балл в пределах используемой шкалы и в соответствии с его мнением о значимости (важности) каждого из рассматриваемых параметров. Нескольким параметрам может быть приписан один и тот же балл.

Пусть Рij оценка i-м экспертом j-го параметра.

Средняя оценка j-го параметра по всем m экспертам равна:

Полученные коэффициенты весомости удовлетворяют условию (5).

Этот метод может быть использован в ситуациях, характеризующихся отсутствием полной информации, например, для оценки трудоемкости НИР, когда нет исходных отчетно-статистических данных.

Метод частичного парного сравнения.

Процедура состоит в следующем. Составляется таблица (матрица), в которой сравниваемые параметры записываются дважды: в верхней строке и в крайнем левом столбце (см. табл. 3) – пример 2.

Заполняются только клеточки, находящиеся справа от диагонали, т.е. клетки (j,k), j < к . В каждую клетку ( i,k), где i < к , эксперт заносит номер (i или к) параметра, которому отдает предпочтение, причем эксперт обязательно должен отдать предпочтение одному из них.

Заполненная матрица обрабатывается техническим работником, который для каждого эксперта j подсчитывает и заносит в крайний столбец справа частоту превосходства i-го параметра в строке i — величину ri(j).в нижнюю строку матрицы - величину Sk(j) частоту превосходства k-го параметра в столбце k над всеми остальными.

18

Затем для каждого i-го параметра определяется суммарная частота предпочтения i- го параметра, указанная j-м экспертом:

где n — число параметров.

Тогда коэффициенты весомости параметров при условии (5) можно определить по

Метод полного парного сравнения.

Этот метод отличается от частичного парного сравнения лишь тем, что каждая пара сравнивается не один, а два раза, т. е. эксперты заполняют все клетки таблицы. В случае полного парного сравнения матрица заполняется полностью. Тогда формула (10) преобразуется:

Lp=n(n-1). (12)

Коэффициенты весомости определяются по формуле:

Анализ согласованности экспертных оценок.

При статистическом анализе ответов экспертов необходимо оценить степень согласованности их мнений по всем вопросам, выявить группы с расходящимися мнениями, установить и устранить причины рассогласованности мнений, которые делают групповую оценку ненадежной

Достаточно простым коэффициентом ранговой корреляции, применяемым для оценки согласованности мнений двух экспертов, является коэффициент Спирмэна:

6 * ∑n di2

Где n – число ранжируемых показателей (признаков, факторов, объектов); di - разность между рангами i-го показателя, указанными двумя экспертами.

Чем ближе значение р к единице, тем больше степень согласованности экспертных оценок (см. пример 3).

Для оценки согласованности мнений группы из m экспертов по n показателям применяется коэффициент конкордации W (общий коэффициент ранговой корреляции для группы, состоящей из m экспертов).

В случае отсутствия равных рангов (в оценках любого из экспертов) коэффициент конкордации определяется по формуле:

19

где Xij - стандартизированный ранг i-го эксперта для j-го показателя; n- число ранжируемых показателей; m - число экспертов.

В случае, когда какой-либо эксперт (или эксперты) не может установить ранговое различие между несколькими показателями и присваивает им одинаковые ранги, коэффициент конкордации определяется по формуле:

Коэффициент конкордации принимает значения в интервале от 0 до 1. При отсутствии согласованности мнений экспертов W=0, а при полной согласованности мнений экспертов W=1.

Пример 1 ранжирование

Пяти экспертам (m=5) было предложено проранжировать девять факторов (n=9) по степени их влияния на производительность труда рабочих коопзаготпрома. Набор этих факторов включает:

X1коэффициент напряженности норм; Х2 - условия труда рабочего (освещенность, санитарные условия); Х3 — стаж работы по специальности; Х4 - состояние тарифной системы; Х5 - состояние оборудования; Х6 - коэффициент ритмичности поставок животноводческого сырья; X7 - сбыт продукции; X8 - социально-психологические условия; Х9

- организация работы в цехе по обеспечению рабочих мест инструментом и т. п.

Фактору, оказывающему наибольшее влияние на производительность труда, присваивается ранг 1, следующему - ранг 2 и т. д.

Ответы экспертов о ранжировке факторов сведены в табл. 1.

Таблица 1.

В таблице 2 приведен расчет стандартизированных рангов.

20

Таблица 2.

Так по первому эксперту:

х1=х6=х7=(1+2+3)/3=2. х2=х4=х9=(4+5+6)/3=5.

Таким образом, для наименьшей величины Sj=9 (см. табл. 2, строка Sj) присваивается результирующий ранг 1, для наименьшей из оставшихся величин Sj—10.5 присваивается результирующий ранг 2 и т. д.

После переранжировки суммы рангов строк равны между собой. Подсчитывается сумма рангов по каждому фактору и по всем факторам. Сумма рангов строк равна сумме рангов столбцов и составляет в данном случае 225. Определяется средний ранг факторов:

m n

∑∑xij

Сумма квадратов разности между суммой рангов по каждому фактору и средней величиной ранга составляет 984,5.

Например, при вычислении T1 (для первой строки - первого эксперта) имеем 3 равных фактора с рангом 2 и три - с рангом 5, т.е. две группы одинаковых рангов. По формуле (18) определяется Т1=1/12*((33-3)+(33-3))=4

свободы n -1 = 9 -1 = 8 и уровне значимости (α = 0.05) равно 15.51. χ2рас > χ2табл

Пример 2

Результаты частичного парного сравнения пяти параметров четырьмя экспертами представлены, соответственно, в табл. 3 -6 Найти коэффициент весомости.

21