651_Zelentsov_B.P._Matrichnye_modeli_funktsionirovanija_

Матрица и столбец среднего числа шагов нахождения в состояниях:

где e – столбец, все элементы которого равны 1.

Если полумарковский процесс сформирован на основе однородного марковского процесса, то матрица вероятностей прохождений эргодического полумарковского процесса выражается через матрицу интенсивностей следующим образом:

где dg – матрица, диагональные элементы которой равны соответствующим

диагональным элементам матрицы , а остальные равны нулю.

Матрица и столбец средних времен нахождения в состояниях имеет вид:

3.5.ВЫВОДЫ

1.Полумарковский процесс может быть образован на основе марковской

цепи или марковского процесса.

2.Вероятности прохождения между двумя состояниями эргодического полумарковского процесса пропорциональны переходной вероятности цепи Маркова и соответственно интенсивности перехода процесса Маркова, если полумарковский процесс образован из них.

3.Исходными матричными характеристиками эргодического полумарковского процесса являются матрица вероятностей прохождений и матрица (столбец) среднего числа шагов или среднего времени нахождения в состояниях.

3.6.ПРИМЕР ПОЛУМАРКОВСКОГО ПРОЦЕССА С ТРЕМЯ СОСТОЯНИЯМИ

Рассмотрим переход от цепи Маркова и процесса Маркова к полумарковскому процессу на примере системы из трех состояний, приведенных в разделах 1.11 и 2.12. Исходные матрицы переходных вероятностей P и интенсивностей имеют вид:

Матрица вероятностей прохождений полумарковского процесса на основе цепи Маркова:

Глава 4. ВЕРОЯТНОСТНЫЕ ХАРАКТЕРИСТИКИ ПОДМНОЖЕСТВА СОСТОЯНИЙ

4.1. ПОСТАНОВКА ЗАДАЧИ

Выделим на множестве W возможных состояний системы подмножество U несущественных состояний. Будем обозначать состояния подмножества U через

ui, uj, где i и j – номера состояний, то есть ui U, uj U. За некоторое время система может перейти в какое-то другое подмножество, то есть выйти из подмно-

жества U. Такой переход возможен при любом начальном состоянии ui. Обычно подмножество U формируют таким образом, чтобы в состояниях

этого подмножества система обладала некоторым наперед заданным свойством. Например, при исследовании надежности это может быть подмножество работоспособных или подмножество неработоспособных состояний.

Если множество W возможных состояний системы является эргодическим, то состояния подмножества U характеризуются предельными вероятностями. На основе предельных вероятностей могут быть вычислены некоторые обобщенные характеристики системы. Например, если U – подмножество работоспособных состояний, то сумма предельных вероятностей по всем состояниям этого подмножества представляет собой коэффициент готовности системы. Аналогичная ситуация для коэффициента простоя системы. Однако эти показатели не всегда достаточны для исследования сложных систем. Некоторые обобщенные характеристики телекоммуникационных систем и их оборудования строятся на таких характеристиках подмножеств состояний, как математическое ожидание и дисперсия времени (или числа шагов) нахождения в подмножестве состояний. Этим характеристикам придается инженерно-техни-ческий смысл. Например, при исследовании надежности нахождение системы в подмножестве работоспособных состояний позволяет вычислять среднее время и дисперсию времени безотказной работы системы.

В данной главе находятся характеристики подмножества несущественных состояний на основе марковской цепи, марковского процесса и полумарковского процесса.

4.2. СРЕДНЕЕ ЧИСЛО ШАГОВ НАХОЖДЕНИЯ В ПОДМНОЖЕСТВЕ СОСТОЯНИЙ

Обозначим через nU(i,j) математическое ожидание числа шагов нахождения цепи Маркова в состоянии uj до выхода из подмножества U при условии, что состояние ui является начальным. Из состояния ui система может перейти на одном шаге в некоторое состояние uk или выйти из подмножества U. Если сис-

тема выходит из подмножества U, то она в состояние uj не попадет. Если же она перейдет в некоторое состояние uk, то при начальном состоянии uk она будет пребывать в состоянии uj в среднем nU(k,j)шагов. Отсюда следует, что

43

uk U

В матричной форме эти уравнения записываются следующим образом:

NU = E + PUU ·NU,

описывается матрицей NU средних условных шагов нахождения в состояниях. Если известно начальное распределение rU вероятностей состояний подмножества U, то получаем строку среднего числа шагов нахождения в состояниях подмножества U:

где nU(j) – среднее число шагов нахождения в состоянии uj до выхода из U при заданном начальном распределении.

Если просуммировать строки матрицы NU, то получим столбец среднего

где nU(i) среднее число шагов нахождения в подмножестве U при условии, что состояние ui является начальным; e– столбец, все элементы которого равны 1.

Просуммировав средние числа шагов нахождения в состояниях по всем состояниям, получим среднее число шагов нахождения в подмножестве U при за-

4.3.ВЕРОЯТНОСТЬ НАХОЖДЕНИЯ В ПОДМНОЖЕСТВЕ СОСТОЯНИЙ МАРКОВСКОГО ПРОЦЕССА

Рассмотрим процесс до выхода из подмножества U несущественных состояний (или до перехода в другое подмножество состояний). Для этого обозначим через pU(i,j,t) вероятность того, что в момент времени t система будет в состоя-

нии uj при условии, что в начальный момент времени при t = 0 система находи-

лась в состоянии ui и в течение времени t система оставалась в подмножестве U.

Напомним, что для любых состояний ui и uj подмножества несущественных состояний

lim pU(i,j,t) = 0. t

Итак, система пребывает некоторое случайное время в подмножестве U, а затем покидает его. Найдем распределение этого времени.

44

Будем полагать, что переходы системы от состояния к состоянию на всем множестве состояний описываются однородным марковским процессом.

Подматрица интенсивностей переходов на подмножестве U, UU, получается из матрицы интенсивностей для всего множества состояний удалением из нее строк и столбцов состояний, не относящихся к подмножеству U.

Система дифференциальных уравнений А.Н. Колмогорова в матричном виде, описывающая переходы между состояниями подмножества U, имеет вид, приведенный в разделе 2.8:

PU(t) = ||pU(i,j,t)|| – матрица вероятностей состояний подмножества U;

P′U(t) – матрица, каждый элемент которой является производной соответствующего элемента матрицы PU(t).

Применим к этому матричному уравнению преобразование Лапласа. Тогда

Матрицу – оригинал PU(t) получают с помощью обратного преобразования Лапласа.

Матрица PU(t) содержит вероятности всех состояний uj при условии, что любое состояние ui может быть начальным. Если известно начальное распределение rU = ||rU(1) rU(2) rU(3) … rU(mU) ||, где mU – число состояний подмножества U, то вероятности состояний в момент времени t до выхода из U в соответствии с формулой полной вероятности запишутся как

pU(j,t) = rU (i)·pU(i,j,t)

Вероятность того, что в момент времени t система будет находиться в состояниях подмножества U, определяется суммированием вероятностей состояний по всему подмножеству U:

pU(t) = pU ( j,t) uj

4.4. СРЕДНЕЕ ВРЕМЯ НАХОЖДЕНИЯ В ПОДМНОЖЕСТВЕ СОСТОЯНИЙ

Очевидно, что среднее время нахождения системы в состояниях подмножества U вычисляется по правилу математического ожидания:

Итак, по матрице PU(t) можно получить распределение времени нахождения системы в подмножестве U и далее – характеристики этого времени, например, математическое ожидание и дисперсию. Но для этого следует предварительно найти матрицу–изображение по Лапласу PU(s). Вычисление распределения времени нахождения системы в подмножестве состояний таким путем является трудоемкой процедурой, связанной с прямым и обратным преобразованием Лапласа. Приведем метод прямого вычисления математического ожидания и дисперсии времени нахождения в подмножестве состояний с учетом начальных условий без решения самого матричного уравнения.

Преобразуем матрицу–изображение, разложив ее в матричный степенной ряд:

k 0

Таким образом, решение исходного матричного уравнения записано в виде экспоненты матрицы [Кель09]. Очевидно, что интегрирование матричной экспоненты приводит к матрице средних условных времен нахождения в состояниях множества U:

где tU(i,j) – среднее время нахождения в состоянии uj до выхода из U при усло-

вии, что состояние ui является начальным; время t отсчитывается от момента вхождения в подмножество U.

Итак, нахождения в состояниях подмножества U описываются матрицей TU средних условных времен нахождения в состояниях марковского процесса. Если известно начальное распределение rU вероятностей состояний в подмножестве U, то получаем строку средних времен нахождения в состояниях системы этого подмножества:

где tU(j) – среднее время нахождения в состоянии uj до выхода из U при заданном начальном распределении.

Если просуммировать строки матрицы TU, то получим столбец средних времен нахождения в состояниях подмножества U:

дения в подмножестве U при условии, что состояние ui является начальным.

46

Просуммировав средние времена нахождения в состоянии по всем состояниям, получим среднее время нахождения в состояниях множества U при заданном начальном распределении rU

Таким образом, среднее время нахождения в множестве U при заданных начальных вычисляется по формуле:

4.5. ДИСПЕРСИЯ ВРЕМЕНИ НАХОЖДЕНИЯ В ПОДМНОЖЕСТВЕ СОСТОЯНИЙ

Перейдем к дисперсии времени нахождения в множестве U. Обозначим случайное время нахождения в множестве U через τU. По определению дисперсия этого времени

M(τU2 ) = 2rU ·TU2·e = 2rU ·( UU1 )2·e.

Квадрат математического ожидания времени получается из формулы для tU:

M 2(τU) = (tU)2 = (rU · UU1 ·e)2 = rU · UU1 ·RU· UU1 ·e,

где RU = e·rU – матрица, каждая строка которой равна строке rU . Подставимпоследниедвеформулывформулудлядисперсии(4.18). Получим:

Пояснение. В формуле (4.19) матрица RU, вычитаемая из матрицы 2Е, имеет равные строки, при этом каждая ее строка равна начальному распределению состояний подмножества U.

Таким образом, исходными характеристиками для вычисления математического ожидания и дисперсии времени нахождения в подмножестве состояний является матрица интенсивностей и начальное распределение вероятностей состояний этого подмножества. Вычисление этих характеристик сводится к обращению и умножению матриц, порядок которых равен числу состояний подмножества U. Следует отметить, что эти вычисления возможны только при известном начальном распределении вероятностей состояний подмножества U. Определение этого распределения в данной главе не рассматривается.

Для лучшего понимания природы полученного результата найдем среднее время нахождения в одном состоянии после вхождения в него как частный случай полученных формул, то есть подмножество U состоит из одного состояния

ui.

47

Если известно начальное распределение rU вероятностей состояний подмножества U, то получим строку средних относительных частот состояний

подмножества U: nU = nU(j) = rU ·NU , где nU(j) – средняя относительная час-

тота состояния uj при заданном начальном распределении или математическое ожидание числа вхождений (попаданий) в состояние uj до выхода из U при заданном начальном распределении.

Обозначим через tU(i, j) среднее время нахождения в состоянии uj до выхода системы из подмножества U при условии, что состояние ui является начальным. Очевидно, что это время определяется средней относительной частотой со-

стояния uj и средним временем нахождения в этом состоянии θ(jjt) при одно-

кратном попадании в него tU(i, j) = nU(i, j)·θ(jjt).

Отсюда следует, что матрица средних условных времен нахождения в со-

Если процесс задан в непрерывном времени и описывается однородным

49

4.7. ХАРАКТЕРИСТИКИ ПОДМНОЖЕСТВА СОСТОЯНИЙ

Для удобства пользования сведем полученные формулы в таблицы. Формулы описывают характеристики нахождения в подмножестве несущественных состояний.

Табл. 4.1. Характеристики подмножества, описываемые марковской цепью

Табл. 4.2. Характеристики подмножества, описываемые марковским процессом

Замечание. Формула для вычисления дисперсии времени нахождения в подмножестве состояний в таблицу не включены.

Табл. 4.3. Характеристики подмножества, описываемые полумарковским процессом