Финальные вероятности

Для однородной неразложимой цепи Маркова с конечным числом состояний существует предел , j, не зависящий от i, который называется финальной вероятностью j-го состояния, а их совокупность – финальным распределением.

Финальные вероятности определяются из системы линейных алгебраических уравнений , с учетом условия нормировки .

Если ввести матричные обозначения , , , то уравнения для нахождения финальных вероятностей можно записать в виде

Если вероятности состояний не зависят от t, то есть P_j(t)P_j, то P_j называются стационарными вероятностями, а их совокупность стационарным распределением.

Из прямой системы уравнений для стационарных вероятностей получим, что стационарное распределение определяется системой уравнений

и условием нормировки

,

совпадающими с системой уравнений для финальных вероятностей, следовательно, стационарное и финальное распределения совпадают.

Если для однородной цепи Маркова для системы дифференциальных уравнений в качестве начального распределения q_i(s) выбрать финальное _i, то решение P_i(t) этой системы совпадает с финальным распределением, то есть для любых ts выполняется равенство

.

В рассмотренном выше примере 3.1 финальные вероятности можно найти предельным переходом, устремив t:

, .

Время перехода из одного состояния в другое

Время перехода из одного состояния в другое T_kj при kj для цепей Маркова с непрерывным временем определяется следующими соотношениями:

для всех . (3.5)

Если i=j, то естественно T_jj=0, поэтому рассматривается T_jj(t) – длина интервала от текущего момента времени t, до следующего попадания в это состояния. Тогда T_jj=MT_jj(t)(t)=j определяется из уравнения

. (3.6)

Пример 3.3. Для примера 3.1 найдите среднее время перехода из одного состояния в другое.

Решение: Для ij получаем систему уравнений

откуда имеем

А для i=j

Статистический смысл финальных (стационарных) вероятностей

Уравнение (3.6) домножим на _j, а уравнения системы (3.5) на _i для всех ij и просуммируем полученные равенства, запишем

.

Полученное равенство, в силу , перепишем в виде

.

Следовательно,

.

Здесь величина –1/q_jj>0, а величина T_jj – среднее значение длины интервала от текущего момента времени, когда цепь Маркова находится в состоянии j до момента следующего её попадания в это состояние после выхода из него, следовательно T_jj равна сумме среднего значения остаточного времени пребывания цепи Маркова в j-ом состоянии и среднего значения T_j – длины интервала от момента выхода цепи Маркова из этого состояния до момента возвращения в это состояние.

Время пребывания цепи Маркова в j-ом состоянии

Пусть величина _j – остаточное время пребывания цепи Маркова в j-ом состоянии. Обозначим её закон распределения B_j(x)=P_jx, тогда, используя марковское свойство цепи, можно записать равенство

,

выполнив в котором несложные преобразования, получим уравнение

,

определяющее вид функции B_j(x).

Из полученного дифференциального уравнения следует, что

,

следовательно, величина _j имеет экспоненциальное распределение с параметром – q_jj. В силу свойства отсутствия последействия экспоненциального распределения, полное (не остаточное) время пребывания цепи Маркова в j-ом состоянии также имеет экспоненциальное распределение с тем же параметром – q_jj. Среднее значение этого времени составляет –1/q_jj.

Таким образом, равенство для финальных вероятностей можно переписать в виде

,

следовательно, финальная (стационарная) вероятность _j равна отношению среднего значения времени пребывания цепи Маркова в j-ом состоянии к сумме этого значения и среднего значения T_j – времени возвращения в это состояние, то есть вероятность _j имеет смысл доли времени проведённого цепью в состоянии j.