Lektsii_TAU

Основными проблемами теории измерений являются проблемы представления и единственности. Проблема представления заключается в доказательстве того, что для системы с отношениями, выбранной с целью измерения определённых свойств объектов, можно построить числовую систему с отношениями, описывающую свойства объектов и отношений между ними с помощью чисел. Для этого числовая система должна быть изоморфной или по крайней мере гомоморфной эмпирической системе.

Числовая система с отношениями H=<N,S> изоморфна эмпирической системе M=<O,R>, если эти системы подобны, и существует взаимно однозначное отображение (функция) f объектов на числовое множество, такое, что отношение Rk имеет место только тогда, когда имеет место отношение Sk между числами, отображающими отношения объектов на числовой оси. Например, для случая двуместных отношений OiROj имеет место только тогда, когда имеет место riskrj, где ri и rj получены отображением объектов

ri=f(Oi); rj=f(Oj)

условие взаимной однозначности отображения f является в ряде случаев слишком жёстким и не всегда необходимым. В этих случаях ограничиваются понятием гомоморфизма.

Две системы с отношениями M=<O, R1, …R k> и K=<N, S1, …S m> называются гомоморфными или подобными, если число отношений одинаково k=m и местность отношений одинакова, например, Ri и Si – двуместные отношения.

Проблема единственности заключается в определении всех возможных способов представления заданной эмпирической системы различными числовыми системами. Другими словами, проблема единственности решает вопрос о том, сколькими способами можно описать данную эмпирическую систему различными числовыми изоморфными и гомоморфными системами, и как связаны между собой эти числовые системы.

Проблему единственности можно сформулировать как проблему определения типа шкалы. Шкалой называется совокупность эмпирической системы, числовой системы и отображений, т.е.

<M, H, f>

Пусть <M, H, f> и <M, H, g> две шкалы с разными отображениями f и g, тогда возникает вопрос о взаимосвязи числовых значений, полученных этими отображениями. Например, rj=f(Oj), r’j=g(Oj). Связь между числами rj и r’j запишем с помощью функции ϕ: rj=ϕ(r’i) или f(Oj)=ϕ[g(Oj].

Функцию ϕ называют допустимым преобразованием шкалы. Свойства функции ϕ определяют тип шкалы и, следовательно, позволяют произвести классификацию шкал измерений. Единственность описания эмпирической системы выражается в свойствах функции ϕ.

Рассмотрим наиболее употребляемые типы шкал: наименований; порядковая; интервалов; отношений; разностей; абсолютная.

31

Шкала наименований используется для описания принадлежности объектов к определённым классам. Всем объектам одного и того же класса присваивается одно и то же число, а элементам разных классов – разные числа. Шкала наименований широко используется на практике для индексации номенклатуры изделий, документов, видов информации.

Шкала порядка применяется для измерения упорядочения по одному или совокупности признаков. Примером шкалы порядка является шкала твёрдости минералов. Шкала порядка широко используется при экспертном оценивании для упорядочения объектов. Числа в шкале порядка отражают только порядок следования объектов и не дают возможности сказать на сколько или во сколько один объект предпочтительнее другого.

Шкала интервалов применяется для отображения величины различия между свойствами объектов. Примером использования этой шкалы является измерение температуры в градусах Фаренгейта или Цельсия. При экспертном оценивании шкала интервалов применяется для оценки полезности объектов. Допустимым преобразованием ϕ для шкалы интервалов является линейное преобразование ϕ(x)=ax+b. Следовательно, шкала интервалов единственна до линейного преобразования. В этой шкале отношение разности чисел в двух числовых системах определяется масштабом измерения.

Шкала отношений используется, например, для измерения массы, длины, веса. Числа в этой шкале показывают, во сколько раз свойство одного объекта превосходит это же свойство другого объекта. Допустимым преобразованием этой шкалы является преобразование подобия ϕ(x) ax. Отсюда следует, что шкала отношений является частным случаем шкалы интервалов при выборе нулевой точки отсчёта.

Шкала разностей используется для измерения свойств объектов при необходимости выражения, на сколько один объект превосходит другой по одному или нескольким признакам. Эта шкала является частным случаем шкалы интервалов при выборе единичного масштаба. Допустимым преобразованием для шкалы разностей является преобразование сдвига ϕ(x)=x+b.

Абсолютная шкала является частным случаем шкалы интервалов. В этой шкале принимается нулевая точка и единичный масштаб. Допустимым преобразованием для абсолютной шкалы является тождественное преобразование ϕ(x)=x. Это означает, что существует только одно отображение f объектов в числовой системе. Абсолютная шкала применяется, например, для измерения количества объектов (предметов, событий, явлений) с помощью натуральных чисел.

Методы измерений К наиболее употребимым при экспертном оценивании методам измере-

ний относятся: ранжирование; парное сравнение; непосредственная оценка; последовательное сравнение.

При описании методов будем предполагать, что имеется конечное число измеряемых объектов O1, O2,…O n и сформулирован один или совокупность

32

показателей (признаков) сравнения f1, f2,…f k, по которым осуществляется сравнение объектов.

Ранжирование представляет собой процедуру упорядочения объектов, выполняемую экспертом. На основе своих знаний и опыта эксперт располагает объекты в порядке предпочтения, руководствуясь одним или несколькими показателями сравнения. В результате сравнения всех объектов эксперт составляет упорядоченную последовательность

O1>– O 2>– O 3>–… >– O n

где объект с номером 1 наиболее предпочтителен, объект номер 2 предпочтительнее всех остальных, кроме первого, и т.д.

Полученная система с отношением порядка образует серию, которой в соответствие должна быть поставлена числовая система. В практике экспертного ранжирования чаще всего применяется числовое представление последо-

Существуют случаи, когда среди объектов могут быть эквивалентные.

В результате ранжирования при наличии отношений порядка и эквивалентности эксперт устанавливает упорядоченную последовательность, в которой некоторые объекты могут быть эквивалентными. Например,

O1>– O 2>– O 3 µ O4 µ O5>–… >– O n

В практике ранжирования для эквивалентности объектов назначается одинаковый ранг, который вычисляется как среднее арифметическое из порядковых номеров, занимаемых эквивалентными объектами. Для нашего случая это (3+4+5)/3=4. Ранги в этом случае могут оказаться дробными числами. Удобство использования связанных рангов заключается в том, что любые комбинации связанных рангов не изменяют сумму, которая равна n. Это существенно упрощает обработку результатов ранжирования при групповой экспертной оценке. При групповой экспертной оценке каждый i-тый эксперт присваивает каждому объекту j-тый ранг. В результате проведения экспертного оценивания получается матрица рангов размерности n×m, где m – число экспертов, а n – число объектов.

Достоинством ранжирования, как метода измерения является простота осуществления процедур. Недостатком ранжирования является практическая невозможность упорядочения большого числа объектов. При числе объектов больше 15¸20 эксперты затрудняются в построении ранжированного ряда. Это объясняется тем, что в процессе ранжирования эксперт должен установить взаимосвязи между всеми объектами, рассматривая их как единую совокупность. При увеличении числа объектов количество взаимосвязей между ними резко растёт. Удержание и анализ совокупности взаимосвязей между объектами ограничивается психологическими возможностями людей.

33

Парное сравнение представляет собой процедуру установления предпочтения объектов при сравнении всех возможных пар. При сравнении пары объектов возможны отношения либо порядка, либо порядка и эквивалентности, что доводится до сведения экспертов. В результате сравнения пары объектов Oi и Oj эксперт устанавливает одну из трёх комбинаций

Oi>– O j; Oj>– O i ; Oi Oj.

В практике экспертного оценивания используют следующие числовые представления

1.Если Oi>– O j, то f(Oi)=2, f(Oj)=0. Если Oi Oj, то f(Oi)=f(Oj)=1.

2.Если Oi>– O j, то f(Oi)=1, f(Oj)=-1.

Если Oi Oj, то f(Oi)=f(Oj)=0.

Результаты сравнения экспертом всех пар удобно представлять в виде таблицы, в ячейках которой записываются числовые предпочтения.

Сравнение объектов во всех возможных парах не даёт полного упорядочения объектов. Поэтому решается задача ранжирования объектов на основе их парного сравнения.

Непосредственная оценка представляет собой процедуру приписывания объектам числовых значений в шкале интервалов. Эксперту предлагается поставить в соответствие каждому объекту точку на непрерывной числовой оси, например, на отрезке [0,1]. Эквивалентным объектам приписывается одно и то же число. Измерение в шкале интервалов может быть осуществлено с достаточной степенью достоверности только в случае полной информированности экспертов о свойствах объектов. Эти свойства встречаются в экспертном оценивании не часто. С целью некоторого ослабления этих условий и за счёт уменьшения точности измерений вместо непрерывной числовой оси рассматривают большую оценку. Это эквивалентно квантованию числовой оси на отрезки, каждому из которых приписывается определённый балл. Применяются 5, 10 и 100 бальные шкалы.

Последовательное сравнение, представляет собой комплексную процедуру измерения, включающую как ранжирование, так и непосредственную оценку. При последовательном сравнении эксперт выполняет следующие операции:

а) осуществляет ранжирование объектов;

34

б) производит непосредственную оценку объектов на отрезке [0,1], полагая, что оценка первого по рангу объекта равна 1;

в) решает, будет ли первый объект превосходить по предпочтительности все остальные объекты вместе взятые. Если да, то должно выполняться условие

n

f(O1 ) > ∑f(Oi )

i=2

г) решает, будет ли второй объект превосходить все последующие вместе взятые, и так далее ранжирует все остальные объекты.

Изложенные процедуры выполнения последовательного сравнения объектов показывают, что система с отношениями должна содержать отношение порядка и операцию слежения свойств объектов. Такие системы с отношениями носят название экстенсивных систем.

Рассмотренные четыре метода измерения: ранжирование, парное сравнение, непосредственная оценка и последовательное сравнение обладают различными качествами, но приводят к близким результатам. Экспериментальная сравнительная оценка этих методов показала, что в ряде случаев наиболее эффективным является комплексное применение всех методов для решения одной и той же задачи. При этом следует учитывать, что наиболее простым методом, требующим минимальных затрат, является ранжирование, а наиболее трудоёмким – метод последовательного сравнения. Метод парного сравнения без дополнительной обработки и ряда ограничений не даёт полного упорядочения объектов.

35

ЛЕКЦИЯ №6

ПОДБОР ЭКСПЕРТОВ

Для реализации процедуры экспертного оценивания необходимо сформировать группу экспертов. Общим требованием при формировании группы экспертов является эффективное решение проблемы экспертизы. Эффективность определяется характеристиками экспертизы и затрат на неё.

Достоверность экспертного оценивания может быть определена только на основе практического решения проблемы и анализа её результатов. Использование экспертов как раз и обусловлено тем, что отсутствуют какие-либо другие способы получения информации. Поэтому оценка достоверности экспертизы может осуществляться, как правило, только по апостериорным (после опытным) данным. Если экспертиза производится систематически с примерно одним и тем же составом экспертов, то появляется возможность накопления статистических данных по достоверности работы групп экспертов и получения устойчивой числовой оценки достоверности. Эту оценку можно использовать в качестве априорных данных о достоверности экспертизы группы экспертов для последующих экспертиз.

Затраты на экспертизу в определённой мере пропорциональны числу экспертов. Повышение достоверности за счёт увеличения числа экспертов и туров опроса приводит к увеличению затрат. Отсюда следует проблема оптимизации подбора группы экспертов по количественному и качественному составу.

Сложной проблемой процедуры подбора является формирование системы характеристик эксперта, существенно влияющих на ход и результаты экспертизы. Для описания экспертов с точки зрения качества решения проблемы введём следующие характеристики: компетентность, креативность; отношение к экспертизе; конформизм; аналитичность и широта мышления; конструктивность мышления; коллективизм; самокритичность.

В настоящее время перечисленные характеристики в основном оцениваются качественно. Для ряда характеристик делаются попытки ввести количественные оценки. Рассмотрим содержание и возможные пути количественного описания характеристик экспертов.

Компетентность – это степень квалификации эксперта в определённой области знаний. Компетентность может быть определена на основе анализа плодотворности деятельности специалиста, уровня и широты знакомства с достижениями мировой науки, понимания проблем и перспектив развития. Некоторые авторы считают, что компетентность и научный авторитет являются тождественными понятиями. В таблице приведена оценка компетентности эксперта по учёной степени и занимаемой должности в научноисследовательской организации.

36

Однако не всегда учёная степень определяет компетентность экспертов. Это подтверждается и экспериментальными данными.

В практике экспертного оценивания получила распространение оценка компетентности с помощью самооценки эксперта и оценки другими экспертами. В этой методике компетентность экспертов оценивается коэффициентом компетентности k, который вычисляется на основе суждения эксперта о степени своей информированности и указания типовых источников аргументации своих мнений. Коэффициент компетентности вычисляется по формуле

ku – коэффициент информированности по проблеме, получаемый на основе самооценки эксперта по десятибалльной шкале и умножения этой оценки на 0.1; ka – коэффициент аргументации, получаемый в результате суммирования баллов по эталонной таблице

37

Эксперту даётся эта таблица без цифр. Эксперт отмечает крестом какой источник он оценивает по градации В, С, Н, после этого подставляется количество баллов. При этом, если ka=1, то степень влияния всех источников высокая, ka=0.8 – средняя, ka=0.5 – учитывается низкая степень источников аргументации. Коэффициент компетентности 0≤k≤1.

Можно предложить эффективную методику оценки компетентности экспертов, основанную на вычислении относительных коэффициентов компетентности по результатам высказывания специалистов о составе экспертной группы. Сущность методики состоит в том, что ряду специалистов предлагается высказать суждения о включении или не включении специалистов в экспертную группу. По результатам опроса составляется матрица, по строкам и столбцам которой расположены фамилии экспертов, а элементы матрицы (0 или 1) в зависимости от положительного или отрицательного ответа экспертов о включении. По этой матрице вычисляется относительный коэффициент компетентности.

Существуют подходы к оценке компетентности, основанные на учёте апостериорных данных, т.е. на учёте результатов экспертного оценивания.

Креативность – это способность решать творческие задачи. В настоящее время кроме суждений, основанных на изучении деятельности эксперта, нет каких-либо предложений по количественной оценке этой характеристики.

Отношение к экспертизе – важная характеристика с точки зрения принятия решения о привлечении специалиста в качестве эксперта.

Конформизм – это подверженность влиянию авторитетов. Это свойство проявляется в виде неустойчивости собственного мнения. Особенно сильно конформизм может иметь место при проведении экспертизы в виде открытых дискуссий. Мнение авторитетов, высказанное на открытой дискуссии, может подавлять мнение лиц, обладающих высокой степенью конформизма.

Аналитичность и широта мышления – важные характеристики эксперта, особенно при решении сложных проблем. Специалист, имеющий глубокие знания, но обладающий «профессиональной слепотой», не может качественно решать проблемы, требующие взгляда, выходящего за рамки сложившихся представлений.

Конструктивность мышления – это прагматический аспект мышления. Эксперт должен давать решения, обладающий свойством практичности. Учёт реальных возможностей решения очень важен при проведении экспертного оценивания.

Свойство коллективизма должно учитываться при проведении открытых дискуссий. Этика поведения человека в коллективе экспертов во многих случаях существенно влияет на создание положительного психологического климата и тем самым на успешность решения проблемы.

Самокритичность эксперта проявляется при самооценке степени своей компетентности, а также при принятии решения по рассматриваемой проблеме.

38

Перечисленные характеристики экспертов достаточно полно описывают необходимые качества, которые влияют на успешность решение задач экспертного оценивания. Однако их анализ требует очень кропотливой и трудоёмкой работы по сбору информации и её изучению. Кроме того, часть характеристик может быть положительной, а часть отрицательной. Возникает проблема согласования характеристик между собой.

Достоверность экспертизы зависит от количества экспертов в группе и качества экспертов. Для проблем первого класса, к которому относятся проблемы с высоким уровнем информационного потенциала знаний, увеличение количества экспертов приводит к монотонному возрастанию достоверности экспертизы. Экспериментальные исследования подтверждают эту зависимость.

Для проблем второго класса зависимость групповой оценки от количества экспертов неясна.

Достоверность экспертизы существенно зависит от качества экспертов, в особенности от их компетентности. Привлечение к экспертизе специалистов разного профиля определяется широтой решаемой проблемы. При постановке задач экспертизы необходимо проанализировать области знаний и деятельности, которые связаны с решаемой проблемой, и тем самым определить специализацию экспертов. Количество потребных специалистов различного профиля определяет минимальную численность экспертной группы. На практике всегда имеет место ограничение финансовых ресурсов, расходуемых на вознаграждение экспертов. Это определяет максимально допустимое количество экспертов в группе с учётом их квалификации.

ОПРОС ЭКСПЕРТОВ Опрос – главный этап совместной работы группы управления и экспер-

тов.

Основным содержанием опроса является:

-постановка задачи и предъявление вопросов экспертам;

-информационное обеспечение работы экспертов;

-выработка экспертами суждений, оценок, предложений;

-сбор результатов опроса.

При коллективной экспертизе используются следующие основные виды опроса: дискуссия; анкетирование и интервьюирование; метод коллективной генерации идей или мозговой штурм.

Дискуссию обычно целесообразно проводить на первом этапе изучения проблемы для выявления возможных путей её решения. Опасность конформизма экспертов при дискуссии больше, чем при анкетировании. Ведущий дискуссию по возможности не должен быть связан причинами конформизма экспертов.

В ходе дискуссии происходит согласование позиций экспертов, в результате чего вырабатывается единое мнение, фиксируемое как результат экспертизы.

39

Однако следует учитывать, что согласование позиций может быть выражением не только подлинного мнения экспертов, но в той или иной степени результатом давления, пусть не явно выраженного, ведущего или одного из экспертов. Из этого следует, что группа в своих выводах может руководствоваться в значительной степени логикой компромисса, а не одной лишь логикой анализируемой проблемы. Как правило, это обстоятельство вредно, т.к. задачей экспертизы является выработка наиболее объективного решения.

Анкетирование и интервьюирование. Анкетирование является наиболее эффективным самым распространённым видом опроса. Анкетирование заключается в предъявлении экспертам опросных листов – анкет, на вопросы которых они должны дать ответ в письменной форме. Интервьюированием является устный опрос эксперта членом группы управления, интервьюером.

Анкеты имеют обычно форму таблиц. Конкретная форма анкет и содержание основных вопросов по сути анализируемой проблемы является спецификой проблемы.

Анкетирование может быть очным и заочным. Кроме анкет-вопросников экспертам должна быть дана пояснительная записка, имеющая цель пред опросной ориентации экспертов в сущности вопросов.

Мозговой штурм представляет собой метод получения новых идей, решений какой-либо проблемы в результате коллективного творчества людей в ходе заседания-сеанса, проводимого по определённым правилам.

Принципиальной особенностью метода является абсолютное исключение в ходе самого сеанса критики или какой-либо оценки высказываемых идей.

Сущность метода заключается в разделении решения двух задач:

-генерирования новых идей;

-анализа и оценки предложенных идей.

Соответственно образуются две разные группы: группа генераторов идей и группа аналитиков. Группа генераторов идей 4-15 человек. Члены этой группы не обязательно должны быть специалистами по обсуждаемой проблеме, но должны понимать поставленную задачу. Более того, для исключения предвзятости и профессиональной узости круг специалистов должен быть как можно шире. В некоторых случаях полезно включение в состав группы людей с большим воображением, профессия которых далека от решаемой проблемы. Никто никого не должен стесняться, поэтому группу желательно составить из людей, занимающих примерно одинаковое служебное и общественное положение. Члены группы должны быть заинтересованы в решении проблемы.

Основными правилами проведения заседания являются:

-любые критические оценки идей недопустимы;

-важно количество и разнообразие высказанных идей, ибо вероятность появления действительно ценной идей пропорциональна общему числу высказанных идей;

-необходимо свободное парение мысли – чем необычнее идея, тем лучше;

40