Понятие марковского случайного процесса. Марковское свойство.

Марковский процесс с дискретным пространством состояний называется цепью Маркова.

Рассмотрим вероятностный процесс , где - принимаемое значение вероятностного пространства, и все - целые неотрицательные числа.

Найдем вероятность того, что . Имеем – одношаговую вероятность. Причем, и .

 Если структура вероятностного процесса такова, что условное распределение вероятностей с.в. зависит только от значения с.в. и не зависит от всех предыдущих значений, то говорят, что изучаемый вероятностный процесс обладает марковским свойством и называется марковской цепью.

В отличии от цепи Маркова с дискретным временем, в цепи с непрерывным временем изменение состояния может произойти в любой момент времени.

Аналитически марковское свойство может быть записано в виде

.

Примечание:

МАТРИЦА ПЕРЕХОДНЫХ ВЕРОЯТНОСТЕЙ. ФОРМУЛА КОЛМОГОРОВА-ЧЕМПЕНА.

Матрица переходных вероятностей представляет собой квадратную матрицу с неотрицательными элементами, т.к. для всех .

Сумма элементов в строке равна при всех . Марковские цепи задаются матрицей переходных вероятностей.

Определим вероятность перехода как . Эта вероятность удовлетворяет рекуррентному соотношению:

Данное соотношение и есть формула Колмогорова-Чемпена.

ЭРГОДИЧЕСКАЯ ТЕОРЕМА. ПРОЦЕСС СЛУЧАЙНОГО БЛУЖДАНИЯ.

Для эргодического процесса средняя по реализациям равна средней по времени.

 Для непериодического возвратного класса с состояниями выполняются и , причем величины однозначно определяются условиями и задают стационарное распределение марковской цепи.

Случайное блуждание можно представить себе как передвижение некоторой частицы из одного состояния в другое в некотором пространстве состояний. Задача состоит в нахождении местоположения частицы в пространстве. Последующее положение, занимаемое процессом, равно сумме предыдущего и случайного перемещения, которое выбирается независимым образом из произвольного распределения (является одним и тем же в любом состоянии процесса).

 Последовательность с.в. называют случайным блужданием (с начальной точкой в нач. корд. ), если , где , а - последовательность независимых одинаково распределенных с.в.

Далее находим и остается неизвестным только , которое находим из условия нормировки . Только при существует стационарный режим цепи Маркова.

Процесс случайного блуждания.

Случайное блуждание можно представить себе как передвижение некоторой частицы из одного состояния в другое в некотором пространстве состояний. Задача состоит в нахождении местоположения частицы в пространстве. Последующее положение, занимаемое процессом, равно сумме предыдущего и случайного перемещения, которое выбирается независимым образом из произвольного распределения (является одним и тем же в любом состоянии процесса).

 Последовательность с.в. называют случайным блужданием (с начальной точкой в нач. корд. ), если , где , а - последовательность независимых одинаково распределенных с.в.

Далее находим и остается неизвестным только , которое находим из условия нормировки . Только при существует стационарный режим цепи Маркова.

ПРОЦЕСС ГИБЕЛИ И РОЖДЕНИЯ.

Постулаты:

1-3) Если система в момент времени находится в состоянии , то вероятность того, что на интервале времени система перейдет есть .

4) Вероятность отсутствия переходов в интервале времени равна .

Примечание: начертить граф в соответствии с постулатами.

Запишем:

,

Откуда:

.

Так как , то , где

Отметим, что и зависят от номера состояния. А если предположить, что имеет место чистый процесс гибели и рождения, то и .

ПОНЯТИЕ О ВХОДЯЩЕМ ПОТОКЕ ЗАЯВОК. СВОЙСТВА ПРОСТЕЙШЕГО ПОТОКА.

Рассмотрим поток однородных событий. Пусть в моменты времени , причем , с.в. . Тогда, поток однородных событий задан, если для каждого задано распределение случайного вектора . Для задания такого процесса достаточно знать набор функций . Если выполняются условия и , то такой поток называется потоком с ограниченным последействием или рекуррентным потоком с запаздыванием. Если , то это просто рекуррентный поток.

Пусть с.в. имеет экспоненциальное распределение, т.е. , где – интенсивность. Тогда для любого выполняется . Если , тогда формула очевидна. А если , то . Среднее число заявок, поступивших за время равно , где - это число заявок, поступивших за интервал времени .

Для такого потока выполняются свойства:

1) Стационарности. Поток называется стационарным, если вероятность попадания того или иного числа событий на участок длины (времени) зависит только от длины участка и не зависит от расположения этого участка на временной оси.

2) Ординарности. Поток называется ординарным, если вероятность попадания на участок времени двух или более событий пренебрежимо мала по сравнению с вероятностью попадания одного события: .

3)Беспоследействия. Поток называется потоком с беспоследействием, если для непересекающихся участков времени число событий, попадающих на один из них, не зависит от числа попаданий на другие участки.

Если все три свойства выполняются, то поток называется пуассоновским или простейшим.

Поток (Пальма) с ограниченным последействием, если промежутки времени между последовательными событиями представляют собой случайные величины.