127. Эксперимент и модель. Пассивный эксперимент

В изначальном смысле отношение между экспериментом и моделью такое же, как и между курицей и яйцом: они находятся в одном цикле, и нельзя определить, что было "в самом начале". Эксперимент с некото­рым объектом проводится, чтобы уточнить модель этого объекта, поэ­тому постановка эксперимента определяется имеющейся до опыта мо­делью. Это полностью относится и к экспериментальному исследованию систем.

Теория предполагает, что эксперимент может быть пассивным и активным.

При пассивном эксперименте информация об исследуемом объекте накапливается путем пассивного наблюдения, то есть информацию получают в условиях обычного функционирования объекта. Активный эксперимент проводится с применением искусственного воздействия на объект по специальной программе.

При пассивном эксперименте существуют только факторы в виде входных контролируемых, но неуправляемых переменных, и экспериментатор находится в положении пассивного наблюдателя. Задача планирования в этом случае сводится к оптимальной организации сбора информации и решению таких вопросов, как выбор количества и частоты измерений, выбор метода обработки результатов измерений.

Наиболее часто целью пассивного эксперимента является построение математической модели объекта, которая может рассматриваться либо как хорошо, либо как плохо организованный объект. В хорошо организованном объекте имеют место определенные процессы, в которых взаимосвязи входных и выходных параметров устанавливаются в виде детерминированных функций. Поэтому такие объекты называют детерминированными. Плохо организованные или диффузные объекты представляют собой статистические модели. Методы исследования с использованием таких моделей не требуют детального изучения механизма процессов и явлений, протекающих в объекте.

Примером пассивного эксперимента может быть анализ работы схемы, которая не имеет входов, только выходы, и повлиять на ее работу невозможно.

128. Экспертный выбор

При исследовании сложных систем возникают проблемы, выходящие за пределы формальных математических постановок задач. В таком случае прибегают к услугам экспертов, т.е. лиц, чьи суждения и интуиция могут уменьшить сложность проблемы. В последующих главах мы подробнее рассмотрим работу экспертов — системных аналитиков; сейчас обсудим вопросы привлечения экспертов к решению конкретной и частной задачи системного анализа — задачи выбора. Правда, в этой частной задаче имеются и некоторые общие черты экспертных методов (например, подходы к оценке компетентности экспертов, к интерпретации даваемых ими результатов и пр.). Основная идея экспертных методов состоит в том, чтобы использовать интеллект людей, их способность искать и находить решение слабо формализованных задач. Однако особенность интеллектуальной деятельности людей состоит в том, что она во многом зависит от внешних и внутренних условий. Поэтому в методиках организации экспертных оценок специальное внимание уделяется созданию благоприятных условий и нейтрализации факторов, неблагоприятно влияющих на работу экспертов.

ФАКТОРЫ, ВЛИЯЮЩИЕ НА РАБОТУ ЭКСПЕРТА

Очень важную роль играют факторы психологического характера. Прежде всего, эксперты должны быть освобождены от ответственности за использование результата экспертизы. Дело не только в том, что лицо, принимающее решения, не хочет или не должно возлагать ответственность на других, но и в том, что сама ответственность накладывает психологические ограничения на характер выбора, а этого на стадии оценки альтернатив желательно избежать. Однако это еще не все. Приходится также учитывать, что оценка, даваемая экспертом, может зависеть от межличностных отношений с другими экспертами и иногда даже от того, известна ли его оценка другим лицам. На ход экспертизы могут повлиять и личная заинтересованность эксперта, т.е. его необъективность, и другие личностные качества (самолюбивость, конформизм, сила характера и пр.). С другой стороны, обычно сложность проблемы выходит за рамки возможностей одного человека. Было бы неразумно не использовать тот очевидный факт, что коллективная деятельность открывает дополнительные возможности для взаимного стимулирования экспертов. Поскольку взаимодействие между экспертами может как стимулировать, так и подавлять их деятельность, в разных случаях используют методики экспертиз, имеющие различные степень и характер взаимного влияния экспертов друг на друга: анонимные и скрытые опросы и анкетирование, совещания (комитеты, коллегии, комиссии, штабы), дискуссии (консилиумы, суды, ученые советы), деловые игры, мозговой штурм и т.д. Рассмотрим наиболее типичные процедуры экспертного выбора.

МЕТОДЫ ОБРАБОТКИ МНЕНИЙ ЭКСПЕРТОВ

Простейший вариант состоит в следующем. Экспертам раздают анкеты с просьбой оценить предлагаемые альтернативы. Заполненные анкеты собирают, обрабатывают и полученную информацию в некотором обобщенном виде передают лицу, принимающему решение. На практике возникает ряд вопросов, от ответа на которые зависит, какой именно способ обработки экспертных мнений следует применить в данном конкретном случае [24; ЗІ].

Предположим, например, что эксперты оценивают, альтернативы в числовых шкалах. Пусть - оценка i-й альтернативы j-м экспертом . Оценки можно рассматривать как «измерения» искомой «истинной характеристики» , считая отклонения случайными величинами. В качестве приближения можно использовать некоторую статистику , но можно использовать и другие статистики. Сложнее обстоит, дело, когда альтернативы нельзя оценить сразу одним числом и экспертам предлагается дать оценки отдельно по каждому показателю. Например, оценка качества промышленного изделия складывается из оценок признаков социальных (уровень потребности), функциональных (степень соответствия назначения), экономических, эстетических, эргономических и др. В этом случае имеем набор чисел , где k — номер признака. Кроме этих чисел экспертов просят оценить степень важности каждого показателя (если это не выполнено другим способом). Тогда

Следующее уточнение вводят в случае неоднородности группы экспертов. Естественно придать различные (а не одинаковые, равные 1/n) веса мнениям экспертов, имеющих разную квалификацию. Определение коэффициента а_j компетентности j-го эксперта можно поручить самим экспертам. Пусть каждый из них (l-й) оценивает компетентность других числами 0 a_lj 1 (при этом и свою - числом a_ll). Усреднение дает a_j =_l (a_lj/_sa_ls ) результате получают итоговую оценку

В тех случаях, когда эксперты лишь упорядочивают альтернативы, т.е. используют только порядковую шкалу, возможность арифметических операций отпадает (см. § 6.2) . Тогда переходят к обработке либо относительных частот предпочтений данной альтернативы, либо рангов; иногда используют "медианную" альтернативу или расстояния между ранжированиями [24].

Более глубокие сведения о сравниваемых альтернативах можно получить, изучая "тонкую структуру" суждений экспертов. Дело в том, что оценки экспертов "разбросаны" в пространстве критериев или упорядочений неравномерно, и чаще всего можно выделить несколько кластеров, т.е. кучно расположенных оценок, можно обнаружить и "выбросы", т.е. оценки, далеко отстоящие от кластеров. Значительный интерес представляет выяснение общего между близкими оценками и различий между отдаленными оценками. Это выполняют уже в ходе уточняющих опросов, в других терминах. Например, при сравнении качества промышленных изделий [24] выяснилось, что кластеры связаны с такими отсутствовавшими в исходной анкете признаками, как различная жесткость правил приемки для различных альтернатив, технологические различия между моделями изделий и т.д. Возможен и более детальный анализ расхождений экспертов во мнениях [29; 37] .

МЕТОД "ДЕЛФИ"

Следующим шагом в развитии экспертных оценок является метод "Делфи" [43] . Основная идея этого метода состоит в том, что критика благотворно влияет на эксперта, если она психологически не связана с персональной конфронтацией. Поэтому если проводить оценку альтернатив в несколько туров, сообщая после каждого его полные итоги и сохраняя анонимность участников, то эксперты склонны не только критиковать, но и прислушиваться к критике, относящейся к ним лично. Устранение психологических трудностей, связанных с персональной критикой, придает самой критике большую деловитость, объективность, она легче воспринимается. Все это приводит к тому, что обычно оказывается достаточно следующих четырех этапов:

1) раздача анкет, сбор оценок, их обобщенное представление с указанием разброса мнений;

2) сообщение итогов и запрос объяснений причин индивидуального отклонения от средней или медианой оценки первой итерации;

3) сообщение всех объяснений и запрос контраргументов на них;

4) сообщение возражений и запрос новых оценок альтернатив, если эксперт пожелает их изменить; нахождение окончательного итога.

Вся работа проводится под руководством отдельной управляющей группы, в которую входят системный аналитик и лицо, принимающее решения; анонимность экспертов сохраняется до конца работы (а по желанию экспертов — и после ее окончания). Методика "Делфи" показала на практике хорошую эффективность.

Остальные экспертные процедуры, упомянутые в начале параграфа, предназначены не столько для выбора, сколько для генерирования" альтернатив, Мы вернемся к ним в гл. 9.

Подведем итог

Всякий выбор основан на оценивании или на сравнении альтернатив. В ряде случаев не удается сделать такую оценку "объективно", т.е. произвести нужные измерения с помощью измерительных приборов. Тогда прибегают к "субъективным измерениям", т.е. к экспертным оценкам. Такой способ оценивания альтернатив имеет важные особенности не только в самом процессе получения оценок, но и в методах их обработки. Эти особенности необходимо учитывать в ходе проведения системного анализа с привлечением экспертов.