2. Понятие марковского случайного процесса.
Особое место среди случайных процессов занимают так называемые марковские случайные процессы, впервые описанные А.А. Марковым в 1907г. Случайный процесс называется марковским, если вероятность любого его состояния в будущем зависит только от состояния в настоящем и не зависит от того, каким образом и когда процесс пришел в текущее состояние. Аналитически сказанное может быть записано в виде:
P
(1)
=Pr{g(tn+1)=En+1|g(tn)=En},
где t1<t2< … <tn<tn+1, аEn- текущее состояние. Иными словами, в марковских случайных процессах влияние (воздействие) всей предыстории процесса на его будущее полностью сосредоточено в текущем состоянии процесса. Это свойство называетсясвойствомотсутствияпоследействияили применительно к случайным процессаммарковскимсвойством.
Свойство отсутствия последействия накладывает существенные ограничения на распределение времени пребывания марковского процесса в том или ином состоянии. Так, в случае цепи Маркова с непрерывным временем время пребывания в данном состоянии должно быть распределено по экспоненциальному, а в случае дискретной цепи Маркова - по геометрическому, законам распределения, которые являются единственными, соответственно, непрерывным и дискретным распределениями без последействия. Только при таких ограничениях на времена пребывания процесса в состояниях гарантировано выполнение марковского свойства.
Р
(2)
Pi = Pr{g{t} = Ei}, i = 0,n.
Очевидно, что в любой момент времени tпроцесс находится в одном изn+1 возможных состояний, т.е. событияg{t}=Ei,i= 0,nзаключающиеся в том, что в момент времениtпроцесс находится в состоянияхE0,E1 ,…,En, образуют полную группу несовместных событий. Отсюда следует, что в любой момент времениtвыполняется условие:
(3)
которое называется нормировочным.
Совокупность вероятностейPi(t),i=0,n, может быть представлена вектором, называемым вектором состояний, с числом компонент, равным числу возможных состояний процесса:
P(t)={P0(t),P1(t), …,Pn(t)}.
Главная задача изучения марковских случайных процессов заключается в определении вероятностейPi(t),i= 0,n, нахождения процесса в любой момент времениtв том или ином состоянии, что дает полную информацию о случайном процессе. Для решения данной задачи необходимо:
указать в каком состоянии находится процесс в начальный момент времени;
описать переходы между состояниями.
Состояние процесса в начальный момент времени t=0задается вектором начальных вероятностей
P(0)={P0(0),P1(0), …,Pn(0)}.
Описание переходов между состояниями зависит от того, каким (с дискретным или с непрерывным временем) является изучаемый марковский случайный процесс. Этот вопрос будет рассматриваться в следующих параграфах.
Очень часто при изучении марковских случайных процессов достаточно определить не вероятности P0(t), P1(t), …, Pn(t) в любой момент времениt, а их предельные значения (если они существуют) при .
Если при вероятностиPi(t),i=0,n,стремятся к предельным значениямPi,i=0,n, не зависящим от распределения начальных вероятностей Pi(0),i=0,n, то говорят, что случайный процесс обладаетэргодическимсвойством. Таким образом, для процессов, обладающих эргодическим свойством, существуют пределы
,i=0,n.
Предельные вероятностиPi,i=0,n,часто называют вероятностями состояний равновесия или стационарными вероятностями.