4.6. Предлагаемые критерии оценки эффективности

Важным аспектом при разработке сложных систем является критерий их оценки, согласно которому будут сделаны общие выводы о функционировании системы и необходимости её оптимизации.

На данный момент системных проработок проблематики в данном направлении ещё не было произведено, по этой очевидной причине методики оценки критериев эффективности для подобных систем пока не существует.

Единственным выходом в данной ситуации является использование аналогии со схожими по прицепам функционирования системами, такими, как супермаркет или интернет-магазин\пиццерия. Однако стоит помнить о специфике структуры работы АСДП, включающей в себя более сложную модель доставки заказа и характерную склонность к итерации. Поскольку за основной режим функционирования АСДП будет принят предзаказ на месяц с регулярной доставкой по графику, следовательно, АСУ придётся планировать график для отдела доставки на потенциально более продолжительный промежуток времени, чем в существующих схожих системах.

По этим причинам, необходимо сформулировать критерии оценки эффективности работы АСДП самостоятельно, исходя из методов, применяемых в схожих системах, но с учётом характерных особенностей АСДП и требуемого от системы результата.

Прежде, чем приступить к разработке критерия оценки эффективности АСДП, коротко остановимся на системном подходе к решению этой важной проблемы. Как и в других подобных системах массового обслуживания, имеет смысл путь выбора критериев, называемый стратифицированным критерием, связавшим различные уровни абстрагирования, а именно: функциональный и физический. Концептуальной основой выбора стратифицированного критерия является принципиальный отказ от привлечения каких-либо внешних средств решения этой проблемы.

Неполнота исходной постановки проблемы эффективности, которая может возникнуть вследствие недостаточного внимания или стремления к упрощению еще четко не сформулированной задачи и к использованию привычных описательных категорий может серьёзно сказаться на результатах исследований. Выбор стратифицированного критерия с использованием морфологического, функционального и информационного описания обусловлен тем, что, необходима реализация такой модели оценки эффективности, которая включала бы в себя как автоматизированную систему (собственно, АСДП), так и метасистему пользователей системы. Причем физический критерий необходимо выбрать так, чтобы он нес и функциональную нагрузку, т. е. учитывал вклад системы в деятельность метасистемы. В случае удачи коренное противоречие между функциональным и физическим критерием в таком стратифицированном критерии диалектически разрешается.

Очевидно, что успех при построении такого стратифицированного критерия зависит от степени привязки к реальным процессам, происходящим внутри АСДП. Поэтому параллельно с разработкой критериев различных уровней необходимо проводить выделение соответствующих взаимосвязанных процессов (подпроцессов) в едином процессе доставки населению продовольствия.

Причем для достижения диалектического единства функциональной направленности критерия (с точки зрения потребителя) и его физической интерпретации (с точки зрения реализуемости на существующей базе) предлагается встречное (челночное) движение: при разработке критерия «сверху-вниз», т. е. от потребителя к инструментальной среде заказа, а при выделении подпроцессов - «снизу-вверх», т. е. в обратном направлении. Таким образом, такой стратифицированный подход базируется на принципе системности и делает применимым к АСДП опыт предшествующих разработок различных систем массового обслуживания.

Таким образом, двигаясь «снизу-вверх» (от уровня 1 до уровня 4, т. е. в системе доставки АСДП), можно выделить процессы заказа, оплаты, генерации оптимального маршрута развозки, и процесса доставки. При этом процесс обработки заказа будет определён, как процесс доставки продовольствия до конечного потребителя, согласно заранее установленным условиям и особому методу согласования заказов между собой. Данный метод предполагает, что все заказы сперва интегрируются в единый и однородный Пуассонов поток заказов, потоко обрабатывается, и детерминируется последовательно по ходу выполнения процесса доставки сверху вниз, т.е. на пути от ЦС к адресату.

Ввиду этого и многих схожих факторов, необходимо уделить должное внимание качеству функционирования автоматизированной системы управления заказов (АСУ). АСУ должен выполнять обработку и согласование задач с достаточной скоростью и уровнем качества обработки заказов.

Примем во внимание все эти факторы и будем считать их за основные. Теперь можно, следуя стратифицированному подходу, можно построить следующую цепочку критериев:

1. Функция производительности и защищённости АСУ (для процесса обработки заказа). Включает в себя функцию защищённости личной информации пользователей, составляющих метасистему (для процессов заказа и оплаты).

2. Функция производительности системы доставки заказа (количество машин в автопарке, возможности ПС, возможности машин автопарка и пр.)

3. Вероятностно-временные характеристики (для процесса генерации оптимального маршрута доставки и непосредственно самого процесса доставки заказа клиенту).

Попробуем выделить наиболее существенный показатель оценки эффективности АСДП. Основное назначение АСДП - обеспечение потребностей населения, составляющего метасистему АСДП в услугах по регулярной доставке продовольствия, в условленное время на дом.

Исходя из этой основной предпосылки, резонно предположить, что эффективность процесса доставки продовольствия, а так же эффективность организации этого процесса, предлагается оценивать непосредственно по результатам доставки заказанного продовольствия и продуктов питания до обслуживаемой метасистемы (множеству автономных и одноранговых клиентов АСДП). При этом, как и во многих одноранговых системах, с точки зрения каждого конкретного пользователя наиболее важным будет является качество обслуживания заказов именно этого пользователя. Кроме того, следует учесть специфику объекта доставки: для различных видов продуктов питания и продовольствия существуют различные граничные показатели качества. Температурные или другие физические параметы, необходимые отдельным видам продукции для успешной доставки, различные максимально допустимые сроки для осуществления достаки. Заказы, содержащие в перечне продуктов рыбу, мороженое, скоропортящиеся продукты, необходимо развозить в более сжатые сроки, чем заказы, например, исключительно на картошку, фрукты или другие продукты, не нуждающиеся в особых условиях перевозки.

При заданной интенсивности входящего в АСДП потока заказов производительность сети по каждому виду продукции, передаваемой с определенным приоритетом в каждом реализованном режиме доставки, является функцией интенсивности этого входного потока R_N = f (J_Σ), где J_Σ - сумма элементов соответствующей матрицы тяготения. Поэтому в качестве меры производительности целесообразно использовать величину, равную относительному числу заказов, выполненных системой полностью и с заданным качеством за единичный интервал времени.

R_NО(J_Σ) = R_N(J_Σ)/J_Σ. (4.47)

Если пренебречь повторными поступлениями заказов в АСДП вызванным, например, доставкой пользователю продовольственной продукции, с качеством, ниже заданного и нарушающими пуассоновский характер входного потока, то

R_N = J_Σ(1-Р_но(J_Σ)), (4.48)

где Р_но – вероятность необслуживания заказа, под которой будем понимать вероятность недоставки (например, связанной с траспортными или организационными проблемами), неполной или доставки (например, в результате ошибки АСУ), либо доставки продовольственной продукции, с качеством ниже заданного (например, в случае с несвоевременной доставкой скоропорящейся продукции). Пренебрежение повторными поступлениями заказов допустимо, так как оно выполняется в тех случаях, когда Р_но << 1, а такой режим является основным режимом работы АСДП в отсутствие перегрузок.

Обозначим: Р_бк – вероятность блокировки заказа, под которой будем понимать вероятность недоставки продовольствия заказчику, содержащегося в этом заказе; Рr  - вероятность передачи заказа с нахождением i-го показателя качества в заданных пределах, где и - минимальное и максимальное допустимые значения для показателя . Если пренебречь зависимостью вероятности блокировки и вероятностей передачи с заданным качеством для всех показателей , и считать, что в АСДП достигается высокое качество обработки заказов, т. Е. Рr  →1, то выражение (3.1) преобразуется к виду

R_N = J_Σ(1-Р_бк(J_Σ)). (4.49)

Удобство перехода от величины Р_но к Р_бк заключается в том, что она может быть достаточно легко оценена как при аналитических расчетах в процессе проектирования АСДП, так и при реализации алгоритмов управления ПС. Кроме того, Р_бк в отличие от R_N относится не только к АСДП в целом, но и к каждому конкретному заказу. Следовательно, при минимизации Р_бк для каждого из заказов клиентов, будет достигаться максимальная производительность АСДП R_N.

Рассмотрим более подробно другие показатели качества обслуживания запросов пользователей, т. е. вероятностно-временных характеристик процессов в АСДП.

Под средним временем задержки процесса выполнение заказов в сети будем понимать среднее по всему множеству событий время от момента приема заказа от пользователя в АСУ до передачи заказа из ПС-получателя пользователю. Показатель необходимо рассматривать отдельно для каждого вида или класса предоставляемой продукции, каждого приоритета и каждого реализованного в АСДП режима доставки. Поскольку имеет стохастический характер, могут быть рассмотрены также такие показатели, как вероятность превышения величиной некоторого заданного значения , т. е. Рr , либо верхняя граница интервала, в котором находится доля задержек, например, 90 % всех заказов.

Кроме того, могут быть использованы такие оценки, как среднее по системе среднеквадратическое отклонение времени задержки передачи заказа определенного вида и приоритета на исполнение при заданном способе получения заказа σ_с или средняя дисперсия времени задержки . Величина σ_с или - важный показатель качества обслуживания для некоторых видов заказов, главным образом для скоропортящейся продукции.

Под средним временем задержки выполнения заказа в АСДП , будем понимать среднее по всем заказам время от момента передачи заказа АСУ до момента его успешного приема ПС-получателем. С точки зрения реализации в схожих, по концепции поставленных задач, алгоритмах управления маршрутизацией и ограничением потоков данных внутри вычислительных сетей, этот показатель оказывается в некоторых случаях более удобным для использования, чем , так как имеет четкую связь с длинами очередей заказов по исходящим направлениям в ПС и достаточно легко физически оценивается.

Под средним временем установления доставки заказа (режимы доставка по адресу и самовывоз с выбранного клиентом ПС) будем понимать среднее по всем доставленным заказам время от момента поступления заказа клиента в АСУ, до получения подтверждения о том, что заказ был доставлен получателю.

В ряде случаев может быть использована такая оценка, как верность передачи заказа, в качестве меры которой может быть принято среднее число ошибок в доставке заказа или средняя вероятность того, что одна из позиций заказа будет не надлежащего качества . Допустимые значения могут находиться в весьма широких пределах для различных видов продукции (от 10^-12 – 10^-10 и менее для комбинированных (включающих в себя продукцию разного типа) заказаов и до 10^-2 - 10^-1 для заказов, состоящих из скоропортящейся продукции).

С точки зрения администрации АСДП, наиболее важным представляется показатель производительности системы, так как в конечном счете он определяет ее экономическую эффективность.

Чтобы проводить выбор оптимальных методов и алгоритмов адаптивного управления обработкой заказов в АСДП, необходимо иметь соответствующий критерий, позволяющий отличать различные варианты, т. е. чувствительный к вариациям методов и алгоритмов. Для того чтобы в такой сложной системе, как АСДП, уметь отличать влияние одних методов и алгоритмов от других, необходимо иметь некоторый опорный (базовый) вариант сети N_э, который назовем эталонной сиситемой.

Предлагается внести на рассмотрение два показателя оценки эффективности методов и алгоритмов адаптивного управления обработки заказа в АСУ: относительное превышение среднего времени задержки выполнения заказа в реальной АСДП N, функционирующей при конкретном алгоритме адаптивного управления в реальных условиях, по сравнению с таким же показателем для N_э, которое обозначим как ΔТ и относительное количество продуктов, содержащейся в необслуженных заказах за определенный интервал времени ΔI. Величины ΔТ и ΔI вычисляем по формулам:

; , (4.50)

где - среднее время задержки выполнения заказа в эталонной системе N_э; I_вх - количество позиций продукции, содержащихся к АСДП, входящих в заказы, которые были или должны быть введены в заказ за определенный интервал времени; I₀ - количество позиций продукции, содержащихся в тех заказах, которые были обслужены за тот же интервал времени. При этом необходимо отметить, что показатель ΔI для эталонной сети веегда равен 0.

Очевидно, что использование адаптивного управления процессом обработки заказа в АСДП целесообразно при нарушении условий, в которых условно функционирует эталонная (статическая) система N_э, т.е. в реальных условиях. Показатель ΔТ определяет, насколько успешно данный алгоритм адаптивного управления «противодействует» возможному ухудшению реальных условий функционирования АСДП по сравнению с эталонными. Показатель ΔI определяет, какими «средствами» данный алгоритм адаптивного управления обеспечивает функционирование реальной системы N с показателем , близким к . Например, если при некотором алгоритме адаптивного управления игонорируются все заказы, на допустимые объёмы которых отличается реальный заказ N от заказа в эталонной системе N_э, то при сохранении надежности элементов АСДП, ΔТ → ε_N, где 0 < ε_N << 1. Знаменатели в выражении (4.48) использованы для нормировки соответствующих показателей оценки эффективности.

Следовательно, с одной стороны» показатели ΔТ и ΔI характеризуют ранее введенные показатели и R_N соответственно, а с другой - они в достаточной степени отражают подход к решению задачи выбора методов и алгоритмов адаптивного управления в АСДП с заданной структурой. Поэтому критерий оценки эффективности методов и алгоритмов адаптивного управления должен содержать в себе эти два показателя.

Необходимо подчеркнуть следующую особенность подобного критерия, а следовательно, и подхода к решению задачи управления в АСДП.

Показатель ΔТ является глобальной характеристикой алгоритма адаптивного управления, поскольку он дает оценку качества процесса доставки заказа внутри реальной системы N в целом, при использовании данного алгоритма управления.

Показатель ΔI характеризует способность системы доставки, при управлении по некоторому алгоритму, принять определенную нагрузку. Эта способность зависит от специфики алгоритма управления, который реализуется в АСУ, т, е. показатель ΔI является локальной характеристикой алгоритма адаптивного управления. Следовательно, наличие одновременно показателей ΔТ и ΔI в критерии оценки эффективности алгоритмов адаптивного управления отражает то требование к этим алгоритмам, что в процессе управления доставкой заказов в АСДП стохастические изменения условий функционирования реальной системы доставки N, по сравнению с такими же условиями эталонной сети N_э должны компенсироваться двумя способами, а именно глобально (на основе ΔТ) и локально (на основе ΔI).

Теперь необходимо выбрать конкретную фоорму критерия для оценки эффективности АСДП. Основная сложность решения задачи адаптивного управления в АСДП состоит в том, что, во-первых, критерий оценки эффективности алгоритмов адаптивного управления должен включать в себя два показателя, а именно ΔТ и ΔI, а во-вторых, в зависимости от вида заказываемой продукции в системе (скоропортящаяся продукция, требующая аккуратности в процессе перевозки продукция и пр.) можно определить степень важности каждого из этих двух показателей. В этих условиях можно применять комбинированный подход к решению задачи оптимизации, который состоит в следующем.

При условии, что заказы в системе требуют максимальной оперативности при доставке (скоропортящиеся продукты) критерием оценки эффективности алгоритмов адаптивного управления является правило: минимизировать ΔТ при ограничении на ΔI. Если в системе обрабатываются в основном объёмные заказы, по причине габаритов или большого количество позиций в заказе, то основным критерием является правило: минимизировать ΔI при ограничении на ΔТ. Кроме того, в обоих случаях ставятся ограничения на управляемые параметры. В случае, когда АСДП предназначена для обработки заказов произвольного содержаня, эффективность алгоритмов адаптивного управления оценивается по интегральному критерию вида

Cr = f (ΔТ, ΔI). (4.51)

При этом компромиссный вариант алгоритма адаптивного управления можно выбрать, используя схему справедливого компромисса [23]. Для построения интегрального критерия целесообразно использовать принцип относительной уступки, потому что этот принцип весьма чувствителен к величине отдельных показателей. Важным преимуществом принципа относительной уступки является то, что он инвариантен к масштабу измерения отдельных показателей. В работе [23] показано, что реализация этого принципа приводит к построению мультипликативного интегрального критерия. Учитывая это обстоятельство, а также формулу (4.51), выражение (4.49) можно записать в следующем виде:

, (4.52)

где q₁ и q₂ - весовые коэффициенты, определяющие приоритет (важность) отдельных показателей.

Задача векторной оптимизации при первых двух постановках, т. е. в случаях со скоропортящейся продукцией, допускает приточные методы решения. При этом появляется необходимость определения подмножества алгоритмов управления, близких к оптимальному, среди которых отыскивается оптимальный алгоритм. Выбор подобных алгоритмов можно проводить с использованием предложенного интегрального критерия оценки эффективности.

Проанализируем выражение (4.52). Учитывая его реальный смысл, интегральный критерий можно назвать степенью ухудшения качества процесса доставки заказов в АСДП, функционирующей в реальных условиях при данном алгоритме адаптивного управления, по сравнению с качеством такого же процесса в эталонной системе доставки N_э. Поэтому в дальнейшем выбор алгоритма адаптивного управления по такому критерию должен производиться при условии Cr → min.

С учетом обоснованности подхода к разработке алгоритмов адаптивного управления можно утверждать, что всегда ΔТ ≥ 0 и ΔI ≥ 0, т. е. Cr ≥ 0. Использование алгоритмов адаптивного управления целесообразно в условиях, которые приводят к ΔТ > 0 и ΔI > 0, однако при этом специфика некоторых алгоритмов такова, что ΔТ → 0 при ΔI > 0. В подобном случае Cr → 0, т. е. критерий становится нечувствительным к применению такого рода алгоритмов. Эту ситуацию можно избежать наложением определенных условий на выбор показателей степени q₁ и q₂. Необходимым условием определения q₁ и _q2 согласно работе [6] является равенство

q₁ + q₂ = 1. (4.53)

К настоящему времени еще неразработаны формальные методы определения значений q₁ и q₂. Поэтому предлагается строить семейства кривых Cr = f (ΔТ, ΔI, q₁, q₂) для различных значений q₁ и q₂ при соблюдении условия (3.5), а также при условии, что

q₁ = 0, если ΔТ = 0; q₂ = 0, если ΔI = 0.

Конкретные значения показателей степени q₁ и q₂ зависят от значимости ΔТ и ΔI соответственно, т. е. чем важнее ΔТ или ΔI, тем больше должно быть значение q₁ или q₂ и наоборот.

Таким образом, на основе применения стратифицированного подхода получим иерархию критериев оценки эффективности реализации в работе АСДП различных процессов. Кроме того, для оценки и сравнения эффективности алгоритмов управления разработан интегральный критерий. Эти критерии как рабочие оценки вероятностно-временных характеристик будут использованы в дальнейшем.