31 Вопрос

Основными проблемами экспертной оценки является:

подбор экспертов;

проведение опроса;

обработка результатов исследования;

организация процедур экспертизы.

В эспертизе должны участвовать две группы экспертов: рабочая группа (которая состоит из организатора, специалиста-системотехника и технического работника; экспертная группа, т. е. группа, мнения экспертов которой станут основой принятия будущих решений;

При формировании экспертной и рабочих групп необходимо предъявлять следующие требования к экспертам:

выдвигаемые экспертами оценки должны быть стабильными во времени;

при введении дополнительной информации экспертная оценка должна улучшаться, но она не должна принципиально изменяться от первоначально сформулированной оценки;

эксперт должен быть признанным специалистом в изучаемой области знания;

у эксперта должен быть опыт участия в подобных экспертизах;

мнения экспертов должны быть устойчивыми. Устойчивость определяется характером ошибок, которые могут допустить эксперты во время проведения экспертизы. В связи с этим выделяют 2 вида ошибок:

систематические, которые характеризуются устойчивым положительным или отрицательным отклонением от истинного значения;

случайные, когда выдаваемые значения экспертов характеризуются большой дисперсией.

На первом этапе подбора эксперта особую роль играет род занятий и стаж работы эксперта по профилю оцениваемого объекта. При необходимости, учитывается уровень и характер образования, опыт работы, публикации, частота ссылок на публикации эксперта и т.п.

Для того чтобы сузить список кандидатов в эксперты, используют методы самооценки и коллективной оценки экспертов.

33 Вопрос

«Метод Делфи». С давних времен такая процедура известна как метод «Делфи». В несколько этапов выдается анкета с информацией, усредняется, отбрасываются варианты и опять предлагаются к рассмотрению. Особенности метода:

полный отказ от личных контактов экспертов и коллективных обсуждений;

многотуровая процедура опроса экспертов (обычно четыре тура);

обеспечение экспертов информацией, обмен информацией при сохранении анонимности, аргументации и критики;

обоснование ответов экспертов по запросу организаторов.

В 1-ом туре опроса экспертам выдается анкета (лично, по почте, с помощью ЭВМ и др.), собираются ответы, обрабатываются результаты, каждый эксперт знакомится с результатами.

Во II-ом туре опроса результаты опроса наносятся на шкалу, определяется медианное значение, квартили и экспертам предлагается скорректировать свою оценку, чтобы вписаться в интервал между квартилями. При изменении мнения или отказе от изменения требуется объяснить свое решение.

В Ш-ем туре всем экспертам представляются все экспертные оценки и вся аргументация (с сохранением анонимности).

Если ответы экспертов перестают изменяться, это является сигналом к прекращению опроса. По решению ведущего опрос, объяснения могут представляться лишь экспертами, мнения которых существенно отличаются от среднего.

Метод «Фокусных групп». В практике пилотажных исследований используется метод «Фокусных групп». Особенно эффективен он при изучении рекламы, отношения к новым неизвестным явлениям и процессам. Как полагают, этот метод дает неидеологизированный срез мнений, отношений на подсознательном уровне.

Правила организации исследования:

численность группы не должна превышать 8—10 человек, чтобы все могли интенсивно участвовать в дискуссии, направляемой модератором;

члены группы должны быть отобраны случайно, но с соблюдением правил метода квотной выборки, и не должны быть знакомы друг с другом;

члены группы не должны быть информированы о теме и целях дискуссии до ее начала;

модератор должен обладать достаточной суггестивностью, чтобы направлять группу и не поддаваться ее давлению;

модератор не должен навязывать свое мнение респондентам, а только управлять дискуссией согласно сценарию;

модератор должен уметь подключать к дискуссии разных членов группы и вести ее с такой интенсивностью, чтобы респонденты не думали о «правильных» штампах ответов.

Длительность дискуссии не должна превышать 1,5 — 2 часа. Количество групп и их состав зависят от задач исследования и объекта оценки (от 2 до 8 групп). Группы могут быть одинаковые по составу для параллельного сопоставления или две разные однородные группы для контрастного выявления различий в установках. Дискуссия проводится по заранее разработанному сценарию, содержание которого известно только модератору. Ведется запись дискуссии, которая затем расшифровывается и анализируется.

Метод морфологического анализа. Метод, предложенный австрийским астрономом Адольфом Цвики, позволяет проектировать новые доселе невиданные конструкции, товары, процессы. Экспертам предлагается система критериев оценки объекта (например, для автомобиля, это будут: скорость, мощность, вместимость, экономичность и т. п.) и варианты значений оценки по этим критериям. Выбирая эти значения эксперты прогнозируют и проектируют появление нового объекта. Формы проведения анализа и представления модели объекта могут быть разными. Это, к примеру, может быть морфологический ящик и др.

Метод парных сравнений. Данный метод позволяет придать весовые значения анализируемым явлениям и событиям и устанавливать их приоритетность. В результате сравнения создается методика оценивания и сравнения анализируемых объектов.

Метод анализа иерархий (МАИ) является системной процедурой для иерархического представления элементов, определяющих суть любой природы.

Метод состоит в декомпозиции проблемы на все более простые составляющие части и дальнейшей обработке последовательности суждения лица, принимающего решение (ЛПР), по парным сравнениям.

В результате может быть выражена относительная степень (интенсивно! взаимодействия элементов в иерархии. Эти суждения затем выражаются числен

Метод анализа иерархии включает процедуры синтеза множественных суждений, получения приоритетности факторов (критериев, характер тик, свойств и др.) и нахождения альтернативных решений. Полученные таким образом значения являются оценками в шкале отношений и соответствуют так называемым жестким оценкам.

Решение проблемы есть процесс поэтапного установления приоритетов и включает:

определение и выделение проблемы (что вы хотите знать?);

декомпозицию проблемы в иерархию;

построение матриц парных сравнений;

вычисление приоритетов, наибольшего собственного значения матриц суждений, индекса согласованности и отношения согласованное;

вычисление глобальных приоритетов.

Результат оценки альтернативы, а следовательно, принятия решения, сил: зависит от начального этапа определения цели проблемы, выделения ее из среды. При определении и выделении проблемы необходимо руководствоваться следующими принципами:

изучить состояние данной проблемы;

определить общую цель — какую задачу вы стараетесь решить? Цели должны отражать предположения относительно причины возникновения проблемы в системе, а не просто ее проявление (например, низкий уро­вень морали служащих — причина низкой производительности. Низкая производительность не проблема, а ее проявление);

выделить проблему из среды, установить внутренние и внешние факторы, которые влияют на решение проблемы;

определить альтернативы решения проблемы;

установить, на кого будет влиять ваше определение проблемы;

выяснить, как определяют проблему те, на кого будет влиять определение проблемы, — можете ли вы предоставить им возможность участво­вать в построении иерархии?

определите, нет ли других определений проблемы, более жизнеспособных, чем ваше;

рассмотрите выделенную проблему как часть нескольких проблем любой общей цели.

Декомпозиция проблемы в иерархию

Иерархия возникает, когда системы, которые функционируют как целое на одном уровне, функционируют как части системы более высокого уров­ня, становясь подсистемами этой системы.

Иерархия считается полной, если каждый элемент заданного уровня функционирует как фактор (критерий) для всех элементов нижестоящего уровня

После определения (выделения) проблемы ее декомпозируют в иерархию.

Для этого:

разрабатывают структуру проблемы и усовершенствуют ее, чтобы "приспособить" к проблеме;

проводят "мозговой штурм" (экспертную оценку) любого возмож­ного аспекта проблемы. Здесь определяют перечень всех факторов (критери­ев), располагая их в положительном или отрицательном направлении, в виде иерархии, группируя факторы в сравнимых классах;

обосновывают важность каждого элемента уровня относительно при­мыкающего сверху уровня;

для каждого уровня формулируют письменные вопросы, на которые надо ответить.

На практике встречаются два общих типа доминантных иерархий про­блем.

1.     Иерархия прямого процесса. Она проецирует существующее состоя­ние проблемы на наиболее вероятное или логическое будущее (или на след­ствие).

2.     Иерархия обратного процесса. Она определяет средства достижения цели, чтобы помочь достижению желаемого будущего (или следствия).

После иерархического воспроизведения проблемы возникает вопрос: как установить приоритеты факторов (критериев) и оценить каждую из аль­тернатив по факторам (критериям), выявив самую важную их них.

В МАИ факторы (критерии, элементы) сравниваются попарно по от­ношению к их воздействию ("весу" или "интенсивности") на общую для них характеристику.

Результаты парных сравнений представляются в виде квадратной мат­рицы.

Когда проблемы представлены иерархически, матрица составляется для сравнения относительной важности критериев на втором уровне, по отно­шению к общей цели на первом уровне. Подобные матрицы должны быть построены для парных сравнений каждой альтернативы на третьем уровне, по отношению к факторам (критериям) второго уровня.

Из группы матриц парных сравнений формируется набор локальных при­оритетов, которые выражают относительное влияние множества элементов на элемент примыкающего сверху уровня.

Приоритеты синтезируются, начиная со второго уровня вниз. Порядок синтеза состоит в следующем. Локальные приоритеты перемножаются на приоритеты соответствующего фактора (критерия) на вышестоящем уров­не и суммируются по каждому элементу в соответствии с факторами (кри­териями), на которые воздействует этот элемент.