Введение
Данной лекцией мы продолжаем изучение раздела № 4 «Оценка качества информационных систем». На предыдущей лекции мы уже рассмотрели некоторые методы оценки качества ИС, в том числе говорили и о методе экспертных оценок. Основным недостатком данного метода является его субъективизм и большая зависимость от психологических факторов. Методы обработки экспертных оценок позволяют структурировать множество альтернатив в условиях разноголосицы мнений экспертов. Изученные нами способы обработки экспертных оценок отличаются учетом всех мнений без их «отбрасывания» за исключением случаев борьбы с манипулированием, когда количество альтернатив ограничивается и отбрасывание мнений становится неизбежным. Попытки придать экспертным методам большую объективность привели к появлению итеративных методик, в основе которых лежит последовательное приближение к цели исследования. Тема сегодняшней лекции № 8 «Оценка качества ИС методом экспертных структурных вопросников».
1 Общая характеристика метода
В отличие от традиционных методов экспертных оценок метод структурных вопросников предполагает полный отказ от коллективных обсуждений. В данном методе прямые дебаты заменены программой последовательных индивидуальных опросов, проводимых в форме анкетирования. Это делается для того, чтобы избежать таких психологических факторов, как следование мнению большинства, присоединение к мнению наиболее авторитетного специалиста, нежелание отказаться от своего публично высказанного мнения. Ответы на вопросы анкеты обобщаются и вместе с новой дополнительной информацией снова поступают в распоряжение экспертов, после чего они уточняют свои первоначальные ответы. Такая процедура повторяется несколько раз, до достижения приемлемой сходимости высказанных мнений. Обычно для этого бывает достаточно пяти итераций.
Данный метод впервые был предложен американским ученым О. Хелмером в середине 40-х годов прошлого века как итеративная процедура мозговой атаки, позволяющая снизить влияние психологических факторов и повысить объективность результатов. Тогда же этот метод получил название Дельфи в честь жрецов Дельфийского храма, предсказывающих будущее.
Процедура Дельфи-метода заключается в следующем:
- организуется последовательность циклов «мозговой атаки»;
- разрабатывается программа последовательных индивидуальных опросов с помощью вопросников (анкет), исключающая контакты между экспертами, но предусматривающая ознакомление их с мнениями друг друга в перерывах между турами и уточнение содержания вопросников от тура к туру;
- в наиболее развитых методиках экспертам присваиваются весовые коэффициенты значимости их мнений, вычисляемые на основе предшествующих опросов, уточняемые от тура к туру и учитываемые при получении обобщенных результатов оценивания.
Первое же практическое применение метода Дельфи к решению некоторых задач министерства обороны США показало его высокую эффективность и целесообразность распространения для решения широкого круга задач, связанных с оценкой будущих событий.
Недостатки метода Дельфи:
- значительный расход времени на проведение экспертизы, связанный с неоднократным последовательным повторением оценок;
- необходимость неоднократного пересмотра экспертами своих ответов, вызывающая негативную реакцию, что сказывается на результатах экспертизы.
В 60-е годы ХХ века область практического применения метода Дельфи значительно расширилась, однако присущие ему недостатки привели к возникновению других методов, использующих экспертные оценки. Среди них особое внимание заслуживают методы QUEST и SEER.
Метод QUEST (Qualitative Utility Estimates for Science and Technology – количественные оценки полезности науки и техники) был разработан для целей повышения эффективности решений по распределению ресурсов, выделяемых на исследования и разработки. В основу метода положена идея распределения ресурсов на основе учета возможного вклада различных отраслей и научных направлений (определяемого методом экспертных оценок) в решение какого-либо круга задач.
Метод SEER (System for Event Evaluation and Review – система оценок и обзора событий) предусматривает всего два тура оценки. В каждом туре привлекается различный состав экспертов. Эксперты первого тура – специалисты промышленности, эксперты второго тура – наиболее квалифицированные специалисты органов, принимающих решения, и специалисты в области естественных и технических наук. Эксперт каждого тура не возвращается к рассмотрению своих ответов, за исключением тех случаев, когда его ответ выпадает из некоторого интервала, в котором находится большинство оценок (например, интервала, в котором находятся 90% всех оценок).
Задание на самостоятельную работу: Разработать структурный вопросник (анкету) для оценки качества информационной системы.
2 Этапы экспертного оценивания
Постановка цели исследования.
Выбор формы исследования, определение бюджета проекта.
Подготовка информационных материалов, бланков анкет, модератора процедуры.
Подбор экспертов.
Проведение экспертизы.
Статистический анализ результатов.
Подготовка отчета с результатами экспертного оценивания.