Выбор критериев и показателей эффективности

Выполнение заданной цели неизбежно связано с затратами материальных, энергетических и других ресурсов, необходимых для создания и эксплуатации системы. Свойства системы, обеспечивающие выполнение цели, отражают эффективность системы (качество выполнения поставленной цели) и соответствующие этой цели затраты. Поэтому, применительно к задачам проектирования, критерий должен соотносить цель со свойствами системы, обеспечивающими ее выполнение.

Различают общий критерий эффективности – признак, по которому оценивают эффективность всей системы, и локальный критерий – признак, по которому оценивают выполнение конкретной задачи подсистемой. Чем подробнее иерархия целей, тем легче установить количественные значения критериев.

Основные принципы выбора критериев эффективности:

- критерий должен быть согласованным с моделью цели – необходимость строгого соответствия между целью, поставленной перед системой, и критерием эффективности (трудности выбора критериев чаще всего встречаются при нечетко поставленной задаче),

- неизбыточность - критерий должен соответствовать масштабу исследований,

- максимально полный учет всех факторов, определяющих эффективность системы.

- минимальная размерность набора критериев

- непротиворечивость частных критериев общему.

Критерии-заместители – критерии, которые косвенно характеризуют цель, но не являются средством непосредственного измерения для этой цели (комфортность пассажиров).

Например, цель службы скорой помощи – «доставка больного в больницу в наилучшем состоянии, возможном при данных обстоятельствах». Поскольку эта цель не имеет очевидного критерия, можно принять три критерия-заместителя: «время реагирования», "объем помощи на месте", «время доставки в больницу».

Многие критерии настолько широко и привычно используются, что уже не считаются критериями-заместителями. Например, «прибыль» – критерий-заместитель критерия «благосостояние» (но не все можно измерить деньгами, например, условия работы в коллективе). Или «доля участия в рынке» – заместитель критериев престиж, получение будущих прибылей.

Основные требования к показателям эффективности:

- должен быть простым и наглядным, иметь ясный физический смысл, позволяющий четко интерпретировать результаты исследований,

- обеспечивать вычисление оценки соответствующего требования к системе,

- быть чувствительным к проектным параметрам вариантов системы.

В структуре системы учитываются только основные элементы, критичные при определении соответствия системы поставленным целям и при оценке эффективности системы.

Задача выбора оптимального облика системы решается при декомпозиции ее на две задачи: структурную и параметрическую оптимизации (синтез и анализ системы).

Проблемы многокритериальности

При проектировании может оказаться необходимым анализировать несколько критериев: набор количественно измеримых целей на нижнем уровне иерархии целей системы не сводится к одной цели; каждая цель не обязательно характеризуется единственным критерием.

Если критерии, характеризующие систему, являются противоречивыми – возникает задача многокритериального выбора (в условиях, как определенности, так и неопределенности).

Например, необходимо найти рациональный вариант облика системы, качество которой оценивается по критериям: стоимость, надежность, время выполнения задачи.

Основные принципиальные трудности решения многокритериальных задач связаны с выбором принципа оптимальности (определяющего правила выбора рационального решения) и с выбором принципа учета приоритета, позволяющего отдавать предпочтение более важным критериям.

В общем случае задача многокритериальной оптимизации формулируется как задача одновременной оптимизации некоторой совокупности показателей. Строго математическая задача в такой постановке смысла не имеет, так оптимумы отдельных показателей достигаются при разных значениях критериев: необходимо применение математических методов принятия решений совместно с методами оптимизации. Как правило, критерии противоречивы: повысить значение одного удается только за счет некоторого снижения значения другого.

Здесь вступают в противоречие одни из основных свойств системы – универсальность и специализация. Эти свойства являются проявлением противоположных тенденций: с одной стороны – стремление сократить количество разнотипных систем с целью снижения затрат на их создание и эксплуатацию, с другой – повышение эффективности выполнения каждого отдельного задания. В процессе проектирования определяется рациональное сочетание этих свойств.

Наилучшая эффективность системы для одной из целей (одного показателя эффективности) приводит к уменьшению эффективности для других целей (показателей). Такое уменьшение эффективности характеризует уровень универсальности системы при выполнении отдельных целей и с расширением области целевого применения увеличивается, достигая недопустимо больших значений на границе этой области.

Естественным путем повышения целевой эффективности системы является использование системы не на всей возможной, а на некоторой более узкой области применения. Это характеризует другое важное свойство системы – специализацию. Предельный случай, "абсолютная специализация" – сужение до одного наиболее эффективно выполняемого задания.

Решение многокритериальных задач требует проведения модификаций понятия оптимальности, применение различных способов свертки критериев, многовариантной оптимизации в широком диапазоне изменений исходных требований и ограничений, оценки чувствительности полученных решений к их изменениям, выделение паретовских множеств с их последующим сужением за счет дополнительной информации, и т.д.

Основные принципиальные трудности решения многокритериальных задач связаны с выбором принципа оптимальности, определяющего правила выбора рационального решения, а также с выбором принципа учета приоритета, позволяющего отдавать предпочтение более важным критериям.

Основные классы многокритериальных задач принятия решений.

Задачи выбора решения на множестве целей. Имеется несколько целей, каждая из которых должна быть учтена при выборе рационального решения. Здесь качество решения необходимо оценивать с разумных точек зрения по различным составляющим качества, которые и образуют векторный критерий эффективности. Все частные критерии оптимальности противоречивы и имеют различные масштабы измерения.

Пример: найти рациональный вариант космического аппарата, качество которого оценивается по критериям стоимости, массы полезной нагрузки, надежности, времени функционирования. При проектировании каждый КА оценивается векторным критерием.

Задачи оптимизации на множестве объектов. Имеется несколько объектов, качество функционирования каждого из которых оценивается самостоятельным критерием. Тогда качество функционирования всей совокупности объектов системы оценивается по векторному критерию.

Пример: найти оптимальный вариант системы разнотипных носителей для создания орбитальной группировки. Каждый тип носителя характеризуется частным критерием оптимальности, например, стоимостью вывода единицы полезного груза.

Задачи оптимизации на множестве условий. Заданы варианты условий, в которых предстоит функционировать системе, причем, качество функционирования существенно зависит от условий. Качество функционирования системы для каждого варианта условий оценивается частным критерием, а для всего множества – векторным. Если условия задаются не дискретно, а виде сплошного спектра, вектор эффективности может быть бесконечномерным.

Задачи эффективности в динамике или на множестве этапов. Качество решения оценивается для каждого момента времени (этапа) частным критерием, для всего заданного периода – векторным критерием.

Пример: оптимальное движение по траектории, которая разбита на этапы. Качество прохождения каждого участка оценивается по своему критерию, качество прохождения траектории в целом – по векторному критерию.

Задачи оптимизации на множестве вариантов постановок задачи. Здесь неопределенность, связанная с неполнотой постановки задачи или неопределенность формализации подменяется неопределенностью, связанной с понятием многокритериальности. В действительности реальна лишь одна из компонент векторного критерия, но неизвестно, какая из них конкретно.

Существующие способы многокритериальной оптимизации можно разбить на две группы: введение дополнительных гипотез, позволяющих свести задачу многокритериальной оптимизации к однокритериальной (свертывание показателей), и сокращение множества вариантов решений методами неформального анализа (задачи принятия решений).

Способы сведения многокритериальной задачи к однокритериальной.

В исследовании операций выработаны некоторые способы решения многокритериальных задач, и выбор конкретного способа зависит от постановки задачи и дополнительных гипотез. Это:

- сведение многокритерильной задачи к однокритериальной (свертка критериев введением весовых коэффициентов, обобщенных показателей или ограничений – "перенос произвола из одной инстанции в другую");

- многократное решение прямой задачи оценки эффективности;

- выделение паретовских множеств (принцип отбора рациональных решений);

- сокращение множества вариантов решений методами неформального анализа (задачи принятия решений) и др.

Объединение нескольких критериев в один суперкритерий. Пример – бальная система оценки качества. Упорядочение частных критериев с помощью коэффициентов отражает относительный вклад каждого из них в обобщающий критерий. Упорядочение точек в многомерном пространстве в принципе не может быть однозначным и полностью определяется видом упорядочивающей функции, роль которой играет суперкритерий (обобщенный критерий). Идея такого упорядочивания в многомерном пространстве заложена в некоторых бальных системах.

Наиболее распространенным на практике является переход от нескольких показателей к одной целевой функции – свертывание показателей на основе использования дополнительной объективной информации (об объективных свойствах системы) и субъективной информации (введение весовых коэффициентов об относительной важность показателей эффективности). Дополнительную информацию об объективных свойствах системы можно получить при рассмотрении эффективности системы более высокого уровня.

При свертывании частные критерии в большинстве случаев неравнозначны между собой. Здесь возможно выделение основного, главного критерия, а остальные критерии рассматриваются как сопутствующие, или задаются в виде ограничений, причем, даже не в виде жестких, а в виде неравенств (например, только в виде верхних или нижних границ).

Если различия между значимостью критериев не слишком сильные, может быть применен метод уступок. В этом случае частные критерии упорядочиваются в порядке убывания их важности. Ищется альтернатива, по первому, наиболее важному критерию. Затем определяется уступка, т.е. величина, на которую мы согласны уменьшить достигнутое значение самого важного критерия, чтобы за счет уступки попытаться увеличить, насколько возможно, значение следующего по важности критерия и т.д.

При многократном решении задач оптимизации для каждого из показателей и сравнении результатов друг с другом, в результате анализа множества альтернатив происходит исключение заведомо неоптимальных вариантов решений, и может оказаться (крайне редкий случай), что существует одна доминирующая альтернатива, наилучшая для всех показателей. На практике альтернатива, улучшающая один из показателей, часто обуславливает ухудшение других показателей эффективности. При таком подходе среди множества альтернатив выделяется подмножество Парето-оптимальных альтернатив, обладающее следующим свойством: любая альтернатива этого подмножества лучше какой-либо другой или нескольких других из исходного множества по одному показателю, но хуже по другим. Парето-оптимальные решения нельзя одновременно улучшить по всем частным критериям эффективности. не ухудшив при этом значения хотя бы одного из показателей.

Формализуемый способ многокритериального выбора состоит в отказе от выделения единственной "наилучшей" альтернативы и соглашении о том, что предпочтение одной альтернативе перед другой можно отдавать только если первая по всем критериям лучше второй. Если же предпочтение хотя бы по одному критерию расходится с предпочтением по другому, то такие альтернативы признаются несравнимыми. В результате попарного сравнения все худшие по всем критериям альтернативы отбрасываются, а все оставшиеся несравнимые между собой (недоминируемые) принимаются. Если все максимально достижимые значения частных критериев не относятся к одной альтернативе, то принятые альтернативы образуют множество Парето и выбор на этом заканчивается. При необходимости выбора одной альтернативы вводятся новые, добавочные критерии и ограничения, привлекаются эксперты, бросается жребий.