Экзамен 2021 / Панков Пособие по АСП

Следствие 1. Если d 1, то в введенных выше обозначениях получаем, что все достаточно большие числа n принадлежат множеству

Mi m :pii m 0 .

Следствие 2. Для неприводимой ациклической цепи Маркова существует n0 такое, что при любом натуральном числе n n0 все диагональные

элементы матрицы переходных вероятностей за n шагов n n

положительны.

Лемма 3. Для неприводимой ациклической конечной цепи Маркова существует n1 такое, что при любом натуральном числе n n1 все

элементы матрицы n положительны.

Доказательство. Из следствия 2 получаем, что достаточно проверить элементы, не стоящие на главной диагонали. Для всех Ei Ej из условий

леммы следует, что существует натуральное nij такое, что pij nij 0. Тогда для всех l верно неравенство

pij l nij n0 pii n0 l pij nij 0.

Выберем в качестве n1 n0 maxnij 1.

(i, j)

Лемма доказана.

Теперь с использованием этих лемм докажем следующий результат.

Теорема (эргодическая для неприводимых ациклических цепей Маркова). Пусть цепь Маркова конечна, неприводима и ациклична (т. е. d 1).

31

пространства цепи Маркова больше нуля.

Если фазовое пространство состоит из одного элемента, то все очевидно. Мы

Тогда

32

Mj n mj n h M j n s mj n s

h2 M j n 2s mj n 2s h n/s M j z mj z .

Очевидно, что

M j z mj z M j z 1,

следовательно,

M j n mj n h n/s .

Следовательно, существуют и равны между собой пределы

Вектор p p1, p2,..., pN назовем предельным распределением цепи Маркова

или эргодическим распределением. Легко видеть, что верно следующее равенство

т.е. устремив степень матрицы переходных вероятностей неприводимой конечной ациклической цепи Маркова к бесконечности, мы получим матрицу, в которой все строки одинаковы, и которая не содержит нулевых элементов.

Теорема (без доказательства). Предельное распределение конечной неприводимой ациклической цепи Маркова с фазовым пространством мощности N удовлетворяет системе линейных уравнений:

и является её единственным решением.

Если обозначить x x1,...,xn , то эту систему можно записать в виде

33

Следствие. Если конечная неприводимая ациклическая цепь Маркова имеет дважды стохастическую матрицу переходных вероятностей, то её предельное распределение имеет вид:

Легко видеть, что такой вектор – решение системы уравнений

x x

Стационарные распределения

Пусть дана цепь Маркова с матрицей переходных вероятностей и

начальным распределением p(0) P 0 j , j 1,N , где N – мощность

фазового пространства E. Через p(n) обозначим распределение цепи Маркова в момент времени n:

N

неравенство qi 0 и выполняются равенства qi 1 и q q .

i 1

Заметим, что если в качестве p(0) взять q, то для всех n выполняется

p(n) q n q n 1 ... q.

Если цепь Маркова конечна, ациклична и неприводима, то по теореме об эргодичности существует единственное стационарное распределение, совпадающее с предельным:

qj lim pij (n) pj .

n

34

Тема № 3 Марковские процессы с непрерывным временем

Теперь рассмотрим процесс t;t T , где T 0; .

Определение. Случайный процесс t;t 0; называется цепью Маркова

Обозначим, как и ранее, через E множество состояний цепи Маркова, или

Свойства переходных функций:

1.(Свойство неотрицательности) p t,x,s,y 0 для всех 0 t s, x,y E.

2.(Свойство стохастичности) p(t,x,s,y) 1 для всех 0 t s, x E.

y E

1, x y

3. p t,x,t,y .

0, x y

4. Имеет место уравнение Колмогорова-Чепмена:

p t,x,s,y p t,x,u,k p u,k,s,y

k E

для всех u таких, что t u s.

Определение. Цепь Маркова с непрерывным временем называется конечной, если множество E конечно.

Определение. Цепь Маркова с непрерывным временем называется

однородной во времени, если выполняется:

p t,x,s,y p t r,x,s r,y

для всех 0 t s и для любого r такого, что t r,s r 0, т. е. переходная функция зависит лишь от разности s t. В этом случае переходная функция может обозначаться так:

p t,x,s, y p s t,x,y p ,x,y pxy .

Как правило, в случае конечной цепи Маркова с непрерывным временем мы

будем считать, что E 1,N .

Для однородных цепей Маркова с непрерывным временем с переходной

4. Уравнение Колмогорова-Чепмена

35

pij pik u pkj u k E

для любых u 0, .

Дополнительно мы будем предполагать, что выполняется следующее свойство:

5. (Непрерывность переходной функции в нуле)

Для цепей Маркова с непрерывным временем можно ввести матричную

Определение. Величину ij назовем интенсивностью перехода из i-ого

неравенство ij ii .

j i

Доказательство. Это неравенство имеет место не только в случае конечной цепи Маркова с непрерывным временем. Рассмотрим сумму

pij (t) 1,

j

pij(t) 1 pii (t).

j i

Для любого M такого, что M i, имеет место неравенство

M

pij (t) 1 pii (t)

36

Устремим t 0 , тогда

M

ij ii . j i

M

Это неравенство для ij верно при любом M , следовательно, верно и

j i

для ij .

j i

Утверждение доказано. Следствие. В условиях утверждения для любого i E выполняется

неравенство

ij 0. j E

Определение. Состояние i E из фазового пространства однородной цепи Маркова с непрерывным временем называется мгновенным, если ii .

Состояние i E называется задерживающим, если ii 0. Состояние i E называется поглощающим, если ii 0.

Состояние i E называется регулярным, если оно задерживающее и

ij ii . j i

Определение. Цепь Маркова, все состояния которой регулярны, называется

консервативной.

Теорема (прямая система уравнений Колмогорова). Переходные вероятности консервативной цепи Маркова с конечным множеством состояний E, | E | N , удовлетворяют системе дифференциальных уравнений

i, j E.

Вматричном виде эта система записывается как

' t t ,

где ' t || pij '(t)|| - матрица, состоящая из производных переходных функций с начальными условиями 0 EN N - единичная матрица порядка N .

При h 0 предел правой части существует, значит, существует и предел

N

pij '( ) t pij t jj pik t kj pik t kj . k j k 1

Мы доказали, что

Теорема доказана.

Теорема (обратная система уравнений Колмогорова). Переходные вероятности консервативной цепи Маркова с конечным множеством состояний E, | E | N , удовлетворяют системе дифференциальных уравнений

i, j E.

Вматричном виде эта система записывается как

' t t

сначальными условиями 0 EN N .

Докажите эту теорему самостоятельно. Пусть нам дана некоторая матрица

ij N,N

со свойствами:

38

1. ij 0 и ii 0 при всех i j из E.

N

2. ij 0.

j 1

Рассмотрим вопрос, существует ли цепь Маркова, для которой произвольная матрица , удовлетворяющая свойствам 1 и 2, является матрицей интенсивностей.

Теорема (без доказательства). Если дана ij N,N , удовлетворяющая

сформулированным выше свойствам 1 и 2, то прямая и обратная системы уравнений Колмогорова имеют единственное решение

t pij t N N

со свойствами:

1. 0 pij t .

N

2. pij t 1.

j1

3.s t s t .

Отметим, что в некоторых пособиях по теории случайных процессов под системами дифференциальных уравнений Колмогорова понимают уравнения связывающие вероятности pk t P t k того, что консервативная цепь

Маркова в момент времени t находится в состоянии k с их производными по t. В матричном виде такие системы имеют вид:

p' t p t ,

k 1

находить стационарные распределения для цепей Маркова с непрерывным временем.

Процессы размножения и гибели

Определение. Консервативная цепь Маркова t;t 0; называется

процессом размножения и гибели, если для ее переходных функций выполняются следующие условия:

1). pi,i 1 t i t o t , i . 2). pi,i 1 t i t o t , i .

3). pi,i t 1 i i t o t , i .

39

5). 0 0, 0 0; для всех i 1 величины i и i больше нуля. Это пример процесса с бесконечным множеством состояний. Легко видеть, что верно равенство

pi,i 1 t pi,i 1 t pi,i t 1 o t ,

а матрица интенсивностей (бесконечного размера) будет иметь вид

Покажем, как будут выглядеть прямые и обратные системы уравнений

всем n 0 даст начальное распределение процесса размножения и гибели. Очевидно равенство

pn t pi 0 pi,n(t).

стационарным распределением процесса размножения и гибели t;t 0; ,

40