Глава 3. Цепи Маркова с непрерывным временем

Рассмотрим марковский процесс (t) с конечным или счетным множеством состояний X, который изменяет свои состояния в произвольные моменты времени. Такой процесс называется цепью Маркова с непрерывным временем. Очевидно, что для такой цепи Маркова выполняются условия

для любых i´, i, jX и s´< s < t T.

Определение. Вероятность p_ij(s,t) называется вероятностью перехода из состояния i в состояние j за промежуток времени [s,t).

Цепи Маркова однозначно определяются матрицей вероятностей переходов P(s,t)=||p_ij(s,t)|| и начальным распределением _i=P(0)=i.

Вероятности состояний в любой момент времени t определяются следующим образом:

.

Определение. Если вероятности переходов p_ij(s,t) зависят только от разности моментов времени, то есть p_ij(s,t)=p_ij(t–s)=p_ij(), то цепь Маркова называется однородной.

Для однородных цепей Маркова матрица вероятностей переходов имеет вид P()=||p_ij()||, а вероятности состояний определяются следующим образом:

.

Переходные вероятности обладают следующими свойствами:

.

.

Уравнение Чемпена-Колмогорова:

– для однородных цепей Маркова,

– для неоднородных цепей Маркова, где s<<t.

Условие стохастической непрерывности:

Это условие означает, что с вероятностью 1 цепь однородная Маркова не изменит своего состояния за бесконечно малый промежуток времени 0. Следует отметить, что стохастическая непрерывность не означает непрерывность реализаций марковской цепи. Это происходит потому, что разрывы каждой реализации цепи происходят в случайные моменты времени, и вероятность того, что разрыв произойдет именно в данный момент времени i, равна нулю.

Сформулируем несколько теорем относительно вероятностей p_ij(t).

Теорема 1. Для однородной цепи Маркова вероятности p_ij(t) непрерывны по t.

Теорема 2. Для  i  X, t>0 вероятность p_ij(t)>0.

Теорема 3. Если для некоторого t₀ выполняется неравенство p_ij(t₀)>0, то и для всех t > t₀ аналогично p_ij(t)>0.

Теорема 4. Для цепи Маркова с непрерывным временем существует предел

,

хотя и может быть бесконечным.

Теорема 5. Для цепи Маркова с непрерывным временем существует и конечен предел

.

Величина q_ij(t) имеет смысл интенсивности перехода цепи Маркова из состояния i в состояние j, а величины (–q_ii(t)) – смысл интенсивности выхода из состояния i.

Кроме того, величины q_ij(t) обладают свойством

.

Из определения инфинитезимальных характеристик можно определить вероятности перехода за время t0:

,

.

Таким образом, для того чтобы задать цепь Маркова с непрерывным временем необходимо определить ее матрицу инфинитезимальных характеристик Q(t)=||q_ij(t)||.

Матрица инфинитезимальных характеристик позволяет найти вероятности p_ij(s,t) для любых s<t. Эти вероятности удовлетворяют прямой и обратной системам дифференциальных уравнений Колмогорова.

Дифференциальные уравнения Колмогорова

Матрица инфинитезимальных характеристик позволяет найти вероятности p_ij(s,t) для любых s<t. Эти вероятности удовлетворяют прямой и обратной системам дифференциальных уравнений Колмогорова.

Для неоднородных цепей Маркова:

обратная система дифференциальных уравнений Колмогорова имеет вид:

,

где – краевые условия, заданные на правой границе области изменения переменной .

прямая система дифференциальных уравнений Колмогорова имеет вид:

,

где – краевые условия, заданные на левой границе области изменения переменной .

Для однородных цепей Маркова эти системы записываются следующим образом:

обратная система дифференциальных уравнений:

с начальными условиями

прямая система дифференциальных уравнений:

с начальными условиями

Иногда удобно записывать системы уравнений Колмогорова в матричной форме. Введем матрицу вероятностей переходов P(t)=||p_ij(t)|| для однородной цепи Маркова с непрерывным временем и конечным числом состояний, тогда системы уравнений можно записать в виде

– прямая,

– обратная.

Обратная система уравнений применяется обычно для нахождения значений функционалов от цепей Маркова, прямую систему уравнений можно применять для нахождения безусловного распределения вероятностей состояний системы в произвольный момент времени.

Пример 3.1. Пусть (t) является однородной цепью Маркова с двумя состояниями X=0,1. Время пребывания в состоянии 0 распределено по экспоненциальному закону с параметром , а время пребывания в состоянии 1 распределено по экспоненциальному закону с параметром . Составить прямую и обратную системы дифференциальных уравнений Колмогорова. Найти матрицу вероятностей переходов из состояния i в j, i, j =0,1.

Решение: Пусть ₀ – случайная величина, характеризующая время пребывания в состоянии 0, тогда

P₀<t=F₀(t)=1–e^-t=p₀₁(t) – вероятность того, что цепь Маркова за время t перейдет из состояния 0 в состояние 1,

P₀>t=1–F₀(t)=e^-t=p₀₀(t) – вероятность того, что цепь Маркова за время не изменит своего состояния.

Аналогично, пусть ₁ – случайная величина, характеризующая время пребывания в состоянии , тогда

P₁<t=F₁(t)=1–e^-t=p₁₀(t) ,

P₁>t=1–F₁(t)=e^-t=p₁₁(t) .

Находим матрицу инфинитезимальных характеристик :

,

,

,

.

Составим прямую систему дифференциальных уравнений Колмогорова:

, (3.1)

, (3.2)

, (3.3)

. (3.4)

Обратная система дифференциальных уравнений Колмогорова будет иметь вид:

,

,

,

.

Начальные условия:

Решая пары уравнений (3.1-3.2) и (3.3-3.4) находим искомые вероятности. Из первого уравнения получаем , подставляем в (3.2):

,

получаем дифференциальное уравнение второго порядка:

.

Откуда находим и, учитывая начальные условия, получаем ,

.

Аналогично, находим

,

.

Задание: убедитесь, что полученное решение обращает в тождество и обратную систему дифференциальных уравнений Колмогорова.

Пример 3.2. Для рассмотренного выше примера решить задачу нахождения безусловных вероятностей P_i(t)=P(t)=i – состояний системы в произвольный момент времени.

Решение: Для вероятностей P₀(t)=P(t)=0 и P₁(t)=P(t)=1 t – методом составим прямую систему Колмогорова. Учитывая, что

,

,

,

,

имеем

,

.

Разделив полученные выражения на t, и устремив t0, получим систему дифференциальных уравнений вида

,

.

Пусть в начальный момент цепь Маркова находилась в состоянии 0, то есть P₀(0)=P(0)=0=1, P₁(0)=P(0)=1=0. Тогда решение системы дифференциальных уравнений принимает вид:

,

.