39. Марковские векторные процессы и последовательности

Марковские процессы являются частным видом случайных процессов. Они широко и успешно применяются при решении прикладных задач в современной технике.

Марковские процессы имеют классификацию:

Тип	Аргумент	Процесс	Название процесса
1	H	H	Непрерывный процесс
2	D	H	Непрерывнозначная последовательность
3	H	D	Дискретный процесс
4	D	D	Дискретная последовательность
5	H	H+D	Смешанный процесс

Векторный процесс называется марковским (точнее, марковским первого порядка), если закон распределения его значений Y(t_k+1) в любой будущий момент времени зависит только от значений в данный момент времени Y(tк) (непосредственно предшествующий будущему) и не зависит от того, какие значения принимал этот процесс в моменты времени, предшествующие данному Y(t_к-1) (т.е. по какой траектории этот процесс пришел в данную точку).

Сформулированное положение выражается формулой

, (1)

т.е. условная плотность распределения вероятностей (ПРВ) в любой момент времени tk зависит только от непосредственно предшествующих значений и не зависит от всех предыдущих значений.

Для марковских процессов многомерная ПРВ

(2)

Следовательно, для марковского случайного процесса плотности вероятности полностью определяется двумя функциями:

– первая функция плотности вероятности

– плотность вероятности перехода

Для этих функций должны выполняться условия нормировки.

. (3)

При совпадении моментов времени t΄ = t

. (4)

Плотность вероятности перехода удовлетворяет интегральному уравнению Смолуховского-Колмогорова-Чепмена при t₁<t΄<t₂

. (5)

40. Уравнение Фоккера – Планка - Колмогорова

Эволюция функций ω₁(Y,t) и ω(Y΄,t΄|Y,t) описывается дифференциальным уравнением в частных производных параболического типа, которое называется уравнением Фоккера – Планка – Колмогорова (ФПК).

1. На основе обратного преобразования Фурье из уравнения Смолуховского – Колмогорова – Чепмена получается уравнение для характеристической функции марковского процесса.

2. Характеристическая функция раскладывается в ряд Тейлора по условным начальным моментам.

3. Производится переход к плотности вероятности на основе преобразования Фурье.

4. Перейдя к пределу при ∆t→0 и использовав уравнение (6) получается уравнение ФПК.

Для одномерного марковского процесса уравнение Фоккера – Планка – Колмогорова имеет вид:

. (11)

A(y,t) и B(y,t), называемые локальными характеристиками случайного процесса, определяются следующим образом:

, (12)

. (13)

y* - конкретное фиксированное значение y.

По традиции, связанной с применением уравнения ПФК в физике, коэффициенты A(y,t) и B(y,t) называются соответственно коэффициентами сноса (переноса) и диффузии.

Уравнение (11) часто записывают в другом виде, вводя так называемую функцию π(y,t) – плотность потока вероятности.

(14)

тогда (15)

Для функции плотности вероятности перехода ω(y΄,t΄|y,t) вид уравнения ФПК аналогичен.

Для векторного (многомерного) марковского процесса уравнение ФПК имеет вид:

(16)

(17)

- оператор градиента по компонентам вектора Y.

. (18)

- дивергенция вектора π(Y,t). В данном случае A(Y,t) – вектора сноса, B(Y,t) – матрица диффузии марковского процесса.

В качестве примера рассмотрим систему первого порядка описываемую уравнением

(19)

a и c – коэффициенты, ξ – белый шум интенсивности G.

Уравнение ФПК для данного процесса имеет вид (11) или (15). Коэффициенты сноса и диффузии равны следующим значениям:

Характер изменения плотности вероятности для различных моментов имеет вид

Для представленных на рисунке плотностей вероятности 0<t₁<t₂<t₃.

При t₀=0 плотность вероятности равна δ – функции в точке y = y₀.

За счет коэффициента сноса A=a∙y максимум плотности вероятности смещается на величину At, а отличный от нуля коэффициент диффузии B =с²∙G обуславливает уменьшение этого максимума тем интенсивнее, чем больше коэффициент B.

Методы решения уравнения Фоккера-Планка-Колмогорова

1. Метод разделения переменных

2. Метод замены независимых переменных

3. Метод преобразования Лапласа

4. Метод характеристических функций

5. Метод функциональных (степенных) рядов

6. Метод гауссовой аппроксимации

7. Метод ортогонального разложения

41. Марковские процессы случайной структуры.

Из смешанных (непрерывно – дискретных) процессов целесообразно выделить такие, которые на отдельных случайных интервалах времени имеют резко отличающиеся функции распределения, а переход в эти состояния совершается скачком в случайные моменты времени.

По существу такой процесс можно рассматривать как кусочно-непрерывный или кусочно-дискретный, состоящий из отрезков векторных марковских процессов одинаковой размерности.

Такой смешанный процесс называется процессом случайной структуры.

Порядок чередования индексов l y процесса y^(l)(t) представляет собой дискретный процесс L(t) и подчинен определенным статистическим закономерностям.

Изменение структуры (состояния) технической системы обусловлено внезапным включением или выключением различных подсистем, скачкообразным воздействием внешних факторов, а также внезапными отказами отдельных элементов.

К аноническое векторное уравнение для фиксированной l–й структуры системы имеет вид.

, (1)

где , s – число структур (состояний) системы.

Процессы случайной структуры классифицируют по условиям взаимодействия между процессом Y(t) и моментом смены состояния.

Для динамического описания динамических систем случайной структуры вводится понятие марковского случайного процесса с поглощением и восстановлением реализации. Особенность этого процесса состоит в том, что в некоторый случайный момент времени его реализации или их часть исчезают, а возникают реализации другого процесса или восстанавливаются прежние в некоторый случайный момент времени.

γ_er(t) – граница областей (e) и (r).

Если смена состояния связана с достижением реализациями Y(t) границ некоторой области, то такой процесс называется процессом с сосредоточенными переходами.

Если смена состояния процесса Y(t) может произойти при любых значениях вектора Y(t), то процессы с такими свойствами называются процессами с распределенными переходами.

Уравнение Фоккера – Планка – Колмогорова для марковских процессов случайной структуры имеет вид

(2)

где , – соответственно функция поглощения и функция восстановления реализаций. Эти функции имеют смысл мощности стоков и источников вероятности. Их вид определяется характером смены состояния (структуры) процесса.

Уравнение (2) называется обобщенным уравнением ФПК марковского процесса случайной структуры. При этом следует заметить, что – функция в общем случае не нормированная.