3.1.2 Формалізація марківського випадкового процесу з дискретним часом

Розглянемо деяку фізичну систему S з кінцевим числом всіх можливих станів  S₁, S₂,…, S_n,  для якої переходи із стану в стан можливі тільки в дискретні моменти часу   t₁, t₂,…,t_k,…,t_n.

Для будь-якого моменту часу  t₁, t₂ ,…,t_k  існують деякі імовірності переходу системи із одного стану в будь-який інший, а також імовірності перебування (затримки) системи у даному стані. Ці імовірності називаються перехідними імовірностями марківського ланцюга.

Поведінка системи, яка описується ланцюгом Маркова, характеризується тим, що у послідовні моменти часу t₁, t₂, t₃,..., система переходить в інший стан (або залишається у попередньому) випадковим чином (наприклад, S₁→S₂→S₂→S₂→S₃→S₄…, або S₁→S₃→S_2, … i т.д.).

Позначимо подію перебування системи після k моментів часу (кроків) у стані S через S_i^(k) , а ймовірності цих подій після  k-го  кроку як

p₁(k)=P(S₁^(k)); p₂(k)=P(S₂^(k)); …; p_n(k)=P(S_n^(k)).

Процес, який відбувається в системі, можна подати послідовністю (ланцюгом) подій

S ₁⁽⁰⁾, S₃⁽¹⁾, S₂⁽²⁾, S₂⁽³⁾, S₃⁽⁴⁾,… .

Така випадкова послідовність подій називається марківським ланцюгом, якщо для кожного кроку ймовірність переходу із будь-якого стану  S_i  в будь-який  S_j  не залежить від того, коли і як система прийшла в стан  S_i. Найважливішою особливістю марківського ланцюга є те, що перехід системи у наступні моменти в деякий стан залежить тільки від стану, у якому вона була в даний момент.

Стан системи  S₁, S₂,… S_n  в момент  t_k   характеризують умовними ймовірностями

P_ij =P

того, що система за один крок перейде в деякий стан  S_j  за умовою, що в момент t_k-1 вона знаходилась у стані   S_i.

Оскільки система може перебувати в одному із n станів, то для формалізації процесу в кожний момент часу  t_k  необхідно задати   n² ймовірностей переходу  P_ij . Формалізовану модель процесу можна представити у вигляді таблиці (таблиця 3.1) або матриці (3.1).

Таблиця 3.1 – Перехідні ймовірності системи

Стан	Стан
	S1	S2	…	Sn
S1	P11	P12	…	P1n
S2	P21	P22	…	P2n
…	…	…	…	…
Sn	Pn1	Pn2	…	Pnn

P = , (3.1)

де  P_ij  – ймовірність переходу системи за один крок із стану  S_i  в стан  S_j  , а  P_ii  – ймовірність затримки системи в стані  S_i.

Матриця (3.1) називається перехідною, або матрицею перехідних ймовірностей.

Відзначимо деякі особливості матриці:

1) кожний рядок характеризує вибраний стан системи, а його елементами є ймовірності можливих переходів системи за один крок із вибраного ( і-го ) стану, у тому числі і перехід в саму себе;

2) елементи стовпців показують ймовірності всіх можливих переходів системи за один крок в заданий ( ј-й ) стан (інакше, рядок характеризує імовірність переходу системи із стану, а стовпець – в стан);

3) сума ймовірностей кожного рядка дорівнює одиниці, так як переходи утворюють повну групу подій;

4) матриця перехідних ймовірностей є обов'язково квадратною матрицею з невід'ємними елементами, причому 0  P_іј  1, а  P_ij =1.

5) рівність P_ij =0 означає , що перехід за один крок із і-го стану в j-й неможливий;

6) по головній діагоналі перехідних імовірностей стоять імовірності P_ii того, що система не вийде із стану S_і, а залишиться в ньому.

Випадковий процес функціонування системи з дискретними станами можна представити у вигляді геометричної схеми-графу станів (рисунок 3.2)

Рисунок 3.2 – Граф станів і переходів системи.

Вершини графа, зображені прямокутниками, визначають стани системи, а дуги графа, показані стрілками – переходи її із одних станів в інші .

Імовірності станів i переходів системи зображують на відповідних дугах графа. Такий граф називається розміченим графом станів. Матрицю перехідних ймовірностей P можна будувати декількома способами.

Один із них полягає у тому, що поведінка великого числа окремих елементів системи (автомобілі, навантажувально-розвантажувальнi пункти, перевізні документи, види вантажів i т.д.) розглядається за окремі періоди часу  T  (година, зміна, день) протягом відповідно невеликого періоду функціонування системи (зміна, доба, тиждень, місяць).

Другий спосіб передбачає вивчення окремо вибраного елемента системи протягом достатньо великого періоду часу T (наприклад, дослідження роботи вантажних пунктів, окремих дільниць складів, навантажувально-розвантажувальних машин, транспортних засобів i т.д. періодами часу T, рівними одній годині, дню, впродовж декількох місяців, років).

За фіксованими показниками стану при дослідженні систем можна знайти:

1) число переходів системи із одного стану в інший ;

2) число появ тих чи інших ознак в окремі періоди Т функціонування системи (наприклад, число показників в різноманітних документоформах; число видів перероблюваних вантажів; число прибуваючих на вантажний пункт транспортних засобів i т.д.).

На підставі проведених досліджень визначається матриця показників

Z = . (3.2)

Подалі розраховують суму значень показників по кожному рядку. Поділивши кожний елемент рядка на відповідну суму показників, отримаємо основну матрицю (3.1) перехідних ймовірностей.

Використовуючи матрицю (3.1) можна визначити ймовірності станів P_i(k) системи після k-го кроку переходів за рекурентною формулою

P_i (k) = , (i=1,2,…,n), (3.3)

де n – можливе число станів системи ;

P_j (k-1) – ймовірність перебування системи в j-му стані, в якому вона опинилась після ( k-1 )-го переходу;

P_ji – ймовірність переходу системи із j-го в i-й стан.