Глава 2. Цепи Маркова с дискретным временем Основные определения

Марковские процессы, или процессы без последействия, являются удобной математической моделью для многих реальных процессов. Представим себе систему, которая может находиться в различных состояниях, и пусть её функционирование во времени носит стохастический характер, то есть состояния системы в момент времени t в общем случае не определяется однозначно её состояниями в предыдущие моменты s<t. Следовательно, процесс изменения во времени состояний этой системы можно описать некоторым случайным процессом (t), заданным на интервале [0,T] и принимающим значения из множества X.

Пусть в моменты времени t₁<t₂<…<t_n заданы сечения (t₁),(t₂),…,(t_n), случайного процесса (t). Для момента времени t_n+1>t_n рассмотрим сечение (t_n+1) и условную функцию распределения

Интерпретируя t₁,t₂,…,t_n-1 как моменты времени в прошлом, t_n – настоящий (текущий) момент времени, а t_n+1 – будущий момент времени, говорят, что эта условная функция распределения характеризует функционирование системы в будущем, если известно её функционирование в прошлом и настоящее (текущее) состояние системы.

Определение. Случайный процесс (t), называется марковским, если выполняется равенство

,

то есть его условная функция распределения вероятностей значений (t_n+1), в будущий момент времени t_n+1 не зависит от значений процесса в прошлые моменты t₁,t₂,…,t_n-1, а определяется лишь значением (t_n)=x_n, в настоящий момент времени t_n.

Для условной плотности распределения записывают равенство

, (2.1)

а условную плотность распределения p(x_n+1,t_n+1 | x_n,t_n)=p(x_n+1,t_n+1; x_n,t_n) называют вероятностью перехода системы из состояния x_n в состояние x_n+1 на интервале времени [t_n,t_n+1].

Многомерную плотность распределения, в силу равенства (2.1), можно записать в виде

.

Отсюда видно, что начальное распределение p(x₁,t₁) и вероятности переходов p(x_n+1,t_n+1;x_n,t_n) полностью определяют марковский процесс.

Вероятности переходов удовлетворяют двум основным соотношениям.

1. Условие нормировки

,

.

2. Уравнение Чепмена-Колмогорова

.

Все марковские процессы можно разделить на классы в зависимости от структуры множества X – значений случайного процесса (t), и множества моментов времени наблюдения T. Если множество X – дискретное, то процесс (t) называется цепью Маркова.

При этом если T – дискретное, то процесс называется цепью Маркова с дискретным временем, а если T – непрерывное, то процесс называется цепью Маркова с непрерывным временем.

Если оба множества X и T непрерывные, то процесс называется непрерывным марковским процессом. Наиболее важным классом таких процессов является множество диффузионных процессов.

Цепи Маркова с дискретным временем

Пусть случайный процесс (t) изменения во времени состояний некоторой системы принимает целочисленные значения i=1,2,… из множества X конечного или счетного, то есть (t)=i, (t´)=j. Переходы из одного состояния в другое происходят через равные промежутки времени |t-t´|=1, которые будем называть шагом.

Условные вероятности P(t´)=j|(t)=i=p_ij(t) для всех i,jX образуют матрицу вероятностей переходов цепи Маркова из одного состояния в другое в момент времени t.

Если вероятности переходов не зависят от момента времени t, то есть p_ij(t)=p_ij., то цепь Маркова называется однородной с матрицей вероятностей переходов за один шаг

,

где n – число состояний системы (число возможных значений цепи Маркова) – конечное или счетное. Элементы матрицы p_ij >0 и удовлетворяют условию нормировки

, .

Такую матрицу называют стохастической или марковской.

Набор вероятностей , где называется начальным распределением, оно определяет состояние системы в начальный момент времени.

Цепь Маркова с дискретным временем полностью определяется матрицей вероятностей переходов за один шаг и начальным распределением.

Для описания цепи Маркова удобно использовать граф вероятностей переходов, вершины которого обозначают возможные состояния системы, стрелки от одной вершины к другой указывают возможные переходы между состояниями, а число над стрелкой задаёт вероятность такого перехода. Например, пусть множество состояний X=1,2,3 матрица вероятностей переходов имеет вид

,

тогда граф вероятностей переходов выглядит следующим образом:

В дополнение к одношаговым вероятностям переходов интересно рассмотреть вероятности переходов из одного состояния в другое за произвольное число шагов. В силу уравнения Чепмена-Колмогорова для цепей Маркова, то есть для марковских процессов с дискретным множеством состояний, эти вероятности удовлетворяют рекуррентным соотношениям

, (2.2)

которые нетрудно получить, применяя формулу полной вероятности.

Обозначим через A событие, заключающееся в том, что система за (n+1) шагов перейдёт из состояния i в состояние j, через H_k – событие, состоящее в том, что за n шагов система перейдёт из состояния i в состояние k, тогда, в силу формулы полной вероятности

,

обозначив

, , ,

можно записать равенство, совпадающее с (2.2).

Совершенно аналогично, можно получить уравнение Чепмена-Колмогорова для произвольного числа шагов n+m в виде

, (2.3)

которое позволяет определять вероятности переходов из одного состояния в другое за произвольное число шагов. Этими формулами удобнее пользоваться, записав их в матричном виде. Так равенство (2.2) при n=1 в матричной форме имеет вид

,

тогда равенство (2.3) примет вид

.

Заметим, что матрицы P(n) тоже стохастические n.

Для распределения вероятностей состояний однородной цепи Маркова имеет место следующее равенство векторов:

.

Для неоднородной цепи Маркова распределение вероятностей находится по формулам

Пример 2.1. Рассмотрим состояния банка, характеризующиеся одной из процентных ставок: 12%, 13%, 14%, которые устанавливаются в начале каждого квартала и фиксированы на всем его протяжении. Таким образом, если за систему S принять действующую процентную ставку, то она в каждый момент времени может находиться только в одном из состояний:S₁ – процентная ставка 12%, S₂ – процентная ставка 13%, S₃ – процентная ставка 14%. Анализ работы банка в предшествующие годы показал, что изменение переходных вероятностей с течением времени пренебрежимо мало. Определить распределение вероятностей состояний системы в конце года, если в конце предыдущего года процентная ставка составила 13%, а граф вероятностей переходов имеет вид:

Решение. Так как множество состояний, в которых может находиться система , конечно, то протекающий в ней случайный процесс – дискретный. С определенной степенью погрешности можно предположить, что вероятность пребывания банка в одном из своих состояний в будущем зависит только от состояния в настоящем и не зависит от его состояний в прошлом. Поэтому рассматриваемый процесс можно считать марковским.

В силу условий банк может переходить из состояний в состояние только в определенные моменты времени – начало -го квартала, , а изменение переходных вероятностей с течением времени пренебрежимо мало, то рассматриваемый процесс является однородным марковским процессом с дискретным временем.

По графу составим матрицу переходных вероятностей:

.

Так как в конце предшествующего года процентная ставка составляла 13%, то вектор начального распределения имеет вид .

Тогда распределение вероятностей состояний процентной ставки банка в конце года, то есть по прошествии четырех кварталов определяется следующим образом:

.

Если предположить, что переходные вероятности зависят от моментов установления процентных ставок, полученный процесс будет являться неоднородной марковской цепью с дискретным временем. Например, пусть

, ,

, .

Тогда .