Gorbachev_OsnoviTeoriiSluchajProtces[1]

Можно, однако, выделить широкий и практически важный класс случайных процессов, у которых эта зависимость ограничена в том смысле, что при точно фиксированном значении X n−1 = xn−1 распределение сечения X n перестает зави-

сеть от всех сечений, предшествующих сечению X n−1 , т.е. от событий вида {( X1,..., X n−2 . ) B(n-2)}, где B(n-2) – любое бо-

релевское множество в пространстве значений этих сечений. Используя введенные обозначения, примем следующее определение.

Определение 3.1 Случайный процесс X (t) называется марковским, если распределение его произвольного сечения X n = X (tn ) при любом фиксированном точном значении сечения X n−1 = X (tn−1 ), tn−1 < tn , не зависит от значений любой конечной совокупности сечений этого процесса при значениях аргумента, меньших tn −1 , т.е.

n, t1 <t2 <...<tn , xn−1,B(n−2) : FXn (un ,tn | xn−1,tn−1, ( x1,K, xn−2 ) .(3.1)B(n−2) ) ≡ FXn (un , tn | xn−1, tn−1).

Заметим, что это определение, сформулированное в терминах функций распределения, т.е. с использованием вторичного (выборочного) вероятностного пространства, имеет несколько облегченную форму (по сравнению с принятым в некоторых пособиях). Это обстоятельство не влияет, однако, на строгость решения практических задач.

В тех случаях, когда распределение случайных процессов имеет дискретный или непрерывный характер, соотношение (3.1) принимает, соответственно, вид

или

f Xn (xn ,tn | xn−1 ,tn−1;( X1 ,..., X n−2 ) B(n−2) ) = f Xn (xn ,tn | xn−1 ,tn−1 ).

(3.3)

Марковским процессом является, следовательно, такой процесс, прогноз поведения которого в будущем при фикси-

61

рованном состоянии его в настоящем не улучшается, если учесть его поведение в прошлом.

Марковские процессы часто служат хорошей математической моделью реальных процессов. Так, например, состояние динамической системы описывается ее вектором состояния, т.е. совокупностью параметров, значения которых в данный момент однозначно определяют (в отсутствие внешних случайных возмущений) дальнейшее поведение системы. Если наложить на характер случайных воздействий, которым подвергается система, определенные ограничения, то ее поведение может быть описано как процесс марковского типа.

Конечно, далеко не всегда марковский процесс приемлем как модель реального процесса. Так, при прогнозировании состояния больного температура его тела в данный момент дает значительно меньше информации для предсказания ее хода в будущем, чем значение всего графика температуры за прошедшие дни болезни.

Марковские процессы (как и процессы любого типа) можно классифицировать по типу множества его значений (состояний) и множества значений его аргумента. Мы начнем с марковских процессов, у которых оба множества дискретны.

§3.2. Дискретные марковские цепи

Определение 3.2. Дискретной марковской цепью назы-

вается марковский процесс с конечным или счетным множеством состояний и дискретным аргументом.

Множество значений марковской цепи удобно рассматривать как множество состояний некоторой системы, а поведение марковской цепи – как процесс перехода этой системы из одного состояния в другое.

Без ограничения общности множество состояний дискретной марковской цепи S можно отождествить с конечным

62

S =(..., − k,..., −1,0,1,...,k,...), S = (0,1,2,..., k,...) , а последова-

тельность значений дискретного аргумента – с последовательностью целых чисел 0, 1, 2, …, n, (как правило, поведение марковской цепи исследуется, начиная с некоторого начального момента t0 = 0 ). Целочисленное значение аргумен-

та мы будем называть номером шага.

Марковская цепь называется конечной или счетной в зависимости от конечности или счетности множества S.

Общее свойство марковских процессов (3.1) конкретизируется для дискретной марковской цепи условием:

m0 < m1 < ... < mn−2 < m < n, i, j, i0 ,...in−2 : P{X (n) =

= j | X (m) = i, X (mn−2 ) = in−2 ,..., X (m0 ) = i0 } = P{X (n) = (3.4) = j | X (m) = i} = pij (m,n);

здесь pij (m, n) –условная вероятность перехода дискретной

марковской цепи на n шаге в j-ое состояние при условии, что на m-ом шаге она находилась в i-ом состоянии. Такие условные вероятности называются переходными вероятностями.

Образуем матрицу переходных вероятностей pij(m,n):

∑pij (m, n) =1, т.е. относится к классу так называемых сто-

j S

хастических матриц.

Пусть m = n – 1. Тогда pij(n-1,n) = pij(n) – одношаговая переходная вероятность (для n-го шага).

Матрицу одношаговых переходных вероятностей pij(n) обозначим:

P(n) = P(n - 1,n) = || pij(n) ||.

Дискретная марковская цепь, у которой для i,j pij(n) = pij , т.е. переходные вероятности не зависят от аргу-

63

мента (номера шага), называется однородной. В этом случае

P(n) =P.

Выведем ряд важных формул, выражающих вероятность

0 < m < n. В силу свойства марковской цепи (3.4), получим

P(A| B)= ∑P(ACk |B)=∑P(A|Ck B)P(Ck | B) =∑P(A|Ck )P(Ck | B)

или

P(o,n) =P(1) P(2) ...P(n) .

Для однородной цепи, как нетрудно установить, имеет место равенство

r, s,n,u, ν, (u < ν); prs (u,v) =

= pr,s (u + n,v + n) = prs (o,v −u) = prs (v −u),

где prs (v − u) – условная вероятность перехода цепи, находившейся на некотором (произвольном) шаге в r –ом состоя-

64

нии, в s-ое состояние за v–u шагов. Поэтому для однородной цепи полученные равенства принимают вид

Равенства (3.6) – (3.8) носят название уравнений Колмо- горова-Чепмена.

Из (3.8) нетрудно получить по индукции более общую формулу:

i, j,n1 >0, ..., nl >0: pij (n1 +...+nl ) =

В полученных выше уравнения фигурируют переходные (т.е. условные) вероятности состояний марковской цепи. Получим теперь уравнения для безусловных вероятностей состояний цепи. Пусть в момент m известно распределение вероятностейr состояний цепи, заданное вектором p(m)=|| pj (m)||=||P{X(m)= j}||. тогда, используя формулу пол-

ной (безусловной) вероятности, для распределения состояний цепи в момент n (n>m) легко получим:

= P Τ (m )P Τ (n − m ) pr(0) = P Τ (m ) pr(n − m ).

Состояния марковской цепи могут обладать рядом описываемых ниже свойств, которые позволяют провести их

65

классификацию. Введем ряд определений (применительно к однородной марковской цепи).

Назовем i-ое состояние марковской цепи несуществен-

ственного состояния марковской цепи существует хотя бы одно состояние, в которое цепь переходит с положительной вероятностью и из которого ни за какое число шагов она не может вернуться в прежнее состояние.

Если состояние не относится к несущественным, то оно является существенным. Такое состояние обладает тем свойством, что при выходе из него в любое другое состояние система возвращается в него с ненулевой вероятностью.

Будем, далее, именовать i-ое состояние марковской цепи возвратным, если, находясь в этом состоянии, цепь с вероятностью единица вновь возвращается в него за конечное число шагов. Обозначим An событие, состоящее в том, что цепь, находясь в i-ом состоянии, вновь впервые вернется в него ровно за n шагов. Вероятность этого события равна

Тогда вероятность возвращения в i-ое состояние за конечное число шагов равна

Следовательно, если Fi =1, то i-ое состояние является возвратным; в противном случае (если Fi <1 ) это состояние

относится к невозвратным.

Возвратное состояние всегда является существенным. Действительно, если i-ое состояние несущественно, то вероятность Fi меньше единицы хотя бы на величину, равную

66

вероятности pij (N ) > 0 (здесь j такое, что N : pij (N ) > 0,

M : p ji (M ) = 0).

Назовем i-ое и j-ое существенные состояния сообщаю-

щимися, если M < ∞, N < ∞ : pij (M ) > 0, p ji (N ) > 0 . Свой-

ство состояний быть сообщающимися разбивает все множество состояний цепи S на непересекающиеся классы эквивалентности, которая определяется, как известно, свойствами рефлексивности, симметричности и транзитивности. Реализация первого свойства очевидна (нетрудно проверить, что каждое существенное состояние сообщается с самим собой), второе свойство следует из симметричности определения сообщающихся состояний, а третье свойство вытекает из следующих рассуждений.

Пусть (i, j) , ( j, k) – пары сообщающихся состояний. Тогда

N1 > 0, N2 > 0 : pik (N1 + N2 ) = ∑piα(N1 ) pαk (N2 ) ≥

α s

≥ pij (N1 ) p jk (N2 ) > 0 и M1 > 0, M 2 > 0 : pki (M1 + M 2 ) =

= ∑pkα (M1 ) pαi (M 2 ) ≥ pkj (M1 ) p ji (M 2 ) > 0,

α s

т.е. (i, k) – сообщающиеся состояния.

Марковская цепь, все состояния которой образуют один класс сообщающихся состояний S, называется неразложимой (или неприводимой). В общем случае марковская цепь может состоять из конечного или счетного множества классов сообщающихся состояний {Si } и класса несущественных со-

стояний S0 :

S = S0 S1 S2 ...

Матрица переходных вероятностей P(n) однородной

марковской цепи (при произвольном n) имеет блочный характер:

67

где Si → S j выражает подматрицу вероятностей перехода из состояний класса Si в состояния класса S j .

Пусть в начальный момент марковская цепь находилась в i-ом состоянии и pii (n) – вероятность того, что на n-ом шаге она вновь окажется в этом состоянии (не обязательно в

первый раз). Если lim Pii (n) = 0 , то i-ое состояние называется

n→∞

нулевым.

Предположим теперь, что для некоторого i-го состояния цепи вероятность Pii (n) отлична от нуля только для последо-

вательности значений n = n1 ,n2 ,..., обладающих общим наибольшим делителем di , di ≠1. Тогда это состояние называет-

ся периодическим с периодом di . В противном случае со-

стояние цепи называется непериодическим.

Ненулевое непериодическое состояние марковской цепи называется эргодическим. Ниже будет показано, что ненулевое состояние марковской цепи всегда возвратно.

Рассмотрим в качестве примера случайное дискретное блуждание частицы по числовой оси. Пусть частица может находиться в дискретные моменты времени t = 0, 1, 2, … в

частицы за один шаг между точками, координаты которых отличаются более, чем на единицу, равны нулю:

ij, | i − j |>1, pij = 0,

68

а остальные вероятности переходов

pii = p0 ; pi,i+1 = p1; pi,i−1 = p2

постоянны, т.е. не зависят от номера шага t и от траектории частицы до момента t (т.е. и от её координаты i). Ясно, что при этих предположениях блуждание частицы описывается однородной дискретной марковской цепью со счётным множеством состояний S.

чальный момент цепь находилась в нулевом состоянии (i = 0). Очевидно, что это состояние несущественно: переходя с ненулевой вероятностью в состояние j = 1, частица больше назад не возвращается. Оно и невозвратно, поскольку в (3.14)

ние нулевое. Нетрудно убедиться, что, начиная движение из любого другого состояния, мы получим тот же результат, т.е. у рассматриваемой цепи все состояния несущественные, невозвратные и нулевые.

Если p0 = 0, p1 = p2 = 12 , то случайное блуждание час-

тицы по числовой оси называется симметричным. Поскольку P00 (n) ≠0 лишь для n, кратных двум, то состояние i = 0 – пе-

риодическое с периодом 2 (это относится и к любому другому состоянию).

Читатель легко убедится, что при p0 > 0, p1 > 0, и p2 > 0 все состояния цепи – существенные и сообщающиеся. В зависимости от от конкретных значений последних вероятностей они могут быть нулевыми или ненулевыми, возвратными или невозвратными (в чем мы убедимся в дальнейшем).

Допустим теперь, что множество состояний рассматриваемой марковской цепи конечно:

S = ( − k,..., −1,0,1,..., k) и pkk = p−k ,−k =1.

69

Такая цепь описывает случайное блуждание с «поглощающими» экранами: попадая в состояния i = −k, i = k,

цепь из них больше не выходит (частица «поглощается» эти-

При pkk = p−k ,−k = 0 цепь описывает случайное блужда-

ние с «отражающими» экранами.

Докажем теперь две теоремы о возвратности состояний однородной марковской цепи (полагая, по умолчанию, её неразложимость и непериодичность).

Теорема 3.1. Необходимым и достаточным условием возвратности i-го состояния однородной дискретной марковской цепи является равенство

70