34. Цепь Маркова. Основные понятия.

Цепью Маркова называется последовательность независимых испытаний, в каждом из которых появляется одно из K несовместных событий А₁, А₂, …, А_К, образующих полную группу. Причем условная вероятность P_ij(S) того, что в S-том испытании наступит событие A_j (j=1, ...,K) при условии, что в (S-1) испытании наступило событие A_i (i=1, …, K) не зависит от результатов предшествующих испытаний.

Заметим, что независимые испытания являются частным случаем цепи Маркова. Действительно, если испытания независимы, то появление одного события в каком-то испытании не зависит от результатов предшествующих событий, следовательно, цепь Маркова является обобщением понятия независимых испытаний.

Пусть некоторая система в каждый момент времени находится в одном из K состояний. Тогда события называются состояниями системы, а испытания называются изменениями состояний.

Цепью Маркова называется последовательность испытаний, в каждом из которых система находится в одном из K состояний, причем условные вероятности P_ij(S) того, что в S-том испытании система будет находиться в состоянии j при условии, что в (S-1) испытании система находилась в состоянии i не зависит от результатов ранее произведенных испытаний.

Цепью Маркова с дискретным временем называется цепь, изменение состояний которой происходит в отдельные фиксированные промежутки времени.

Цепью Маркова с непрерывным временем называется цепь, изменение состояний которой происходит в любые возможные промежутки времени.

Однородной цепью Маркова называется цепь Маркова, в которой условная вероятность P_ij(S) перехода системы из состояний i в j не зависит от номера проведенного испытания.

35.Элементы теории конечных однородных цепей Маркова.

Условной вероятностью Р_ij(S)=p_ij называется условная вероятность того, что система из состояния i переходит в состояние j в результате следующего испытания. Таким образом, в обозначении P_ij первый индекс обозначает положение системы в результате какого-то испытания, а второй индекс — положение системы в результате следующего испытания.

Пусть число состояний конечно и равно k .

Матрицей перехода системы называют матрицу, которая содержит все переходные вероятности данной системы.

P =

Поскольку каждая строка содержит переходные вероятности, образующие полную группу, то сумма этих вероятностей равна 1: p₁₁+p₁₂+…+p_1k=1. Следовательно, суммы вероятностей в каждой строке матрицы равны 1:

Обозначим через P_ij(n) вероятность того, что система переходит из состояния i в состояние j за n шагов.

Заметим, что вероятность перехода за один шаг равна переходной вероятности P_ij(1)=p_ij и определим вероятность P_ij(n). Для этого введем понятие промежуточного состояния между i и j. Это состояние r. Тогда получим, что система переходит из состояния i в состояние r за m шагов с вероятностью P_ir(m), а затем переходит из состояния r в состояние i за (n-m) шагов с вероятностью P_rj(m-n). Тогда по формуле полной вероятности:

P_ij(n)= — равенство Маркова

Покажем, что зная P_ij(1)=p_ij , то есть зная матрицу перехода P₁, мы можем получить P_ij(2), тем самым получив матрицу P₂. Зная матрицу P₂ можем получить P_ij(3) и так далее P_ij(n).

Возьмем в равенстве Маркова n=2, m=1. Тогда P_ij(2)=

Следовательно, P₂=P₁* P₁=

Аналогичным образом, если n=3, а m=2: Тогда P_ij(3)=

P₃=P₁* P₂= Следовательно: P_n=

Пример:

=

— ?

=

* =