-
Тема 2. Марковские случайные процессы.
2.1. Понятие о марковском процессе
Рассмотрим сравнительно благоприятный случай стохастической неопределенности, когда неопределенные факторы, входящие в задачу, представляют собой случайные величины, вероятностные характеристики которых либо известны, либо могут быть получены из опыта. Главным образом, мы будем заниматься прямыми задачами исследования операций, т.е. построением математических моделей некоторых случайных явлений. В стохастических задачах исследования операций часто затруднительно даже построение математической модели, не говоря уже об оптимизации. Однако в некоторых особых случаях такую математическую модель удается построить. Это – когда исследуемая операция представляет собой так называемый марковский случайный процесс.
Пусть имеется
некоторая физическая система
,
которая с течением времени меняет свое
состояние (переходит из одного состояния
в другое), причем заранее неизвестным,
случайным образом. Пусть в настоящий
момент
(рис.) система находится в определенном
состоянии
.
Мы наблюдаем процесс со стороны и в
момент
знаем состояние системы
и всю предысторию процесса, все, что
было при
.
Нас, естественно, интересует будущее
.
Можем ли мы его предсказать? В точности
– нет, наш процесс случайный, значит –
непредсказуемый. Но какие-то вероятностные
характеристики процесса в будущем мы
можем найти. Например, вероятность того,
что через некоторое время
система
окажется в состоянии
или сохранит состояние
.
Если процесс марковский, то предсказывать
можно, только учитывая настоящее
состояние системы
и забыв о его предыстории (поведение
системы при
).
Само состояние
,
разумеется, зависит от прошлого, но как
только оно достигнуто, о прошлом можно
забыть. Иначе формулируя, в марковском
процессе будущее зависит от прошлого
только через настоящее.
Итак, дадим определение марковского случайного процесса. Случайный процесс, протекающий в системе, называется марковским, если для любого момента времени вероятностные характеристики процесса в будущем зависят только от его состояния в данный момент и не зависят от того, когда и как система пришла в это состояние.
На практике марковские процессы в чистом виде обычно не встречаются, но нередко приходится иметь дело с процессами, для которых влиянием предыстории можно пренебречь. При изучении таких процессов можно с успехом применять марковские модели.
В исследовании
операций большое значение имеют так
называемые марковские случайные
процессы с дискретными состояниями и
непрерывным временем. Процесс
называется процессом с дискретными
состояниями, если его возможные
состояния
можно заранее перенумеровать, и переход
системы из состояния в состояние
происходит скачком, практически
мгновенно. Процесс называется процессом
с непрерывным временем, если моменты
возможных переходов из состояния в
состояние не фиксированы заранее, а
случайны, т.е. переход может осуществиться
в любой момент.
Пример такого процесса: техническое устройство состоит из двух узлов, каждый из которых в случайный момент времени может выйти из строя (отказать), после чего мгновенно начинается ремонт узла, тоже продолжающийся заранее неизвестное, случайное время. Возможные состояния можно перечислить:
оба
узла исправны,
первый
узел ремонтируется, второй исправен,
второй узел
ремонтируется, первый исправен,
оба узла ремонтируются.
Переходы системы из состояния в состояние происходят практически мгновенно, в случайные моменты выхода из строя того или другого узла или окончания ремонта.
При анализе случайных процессов с дискретными состояниями обычно используют так называемый граф состояний. Построим граф состояний для рассмотренного примера (рис.).
Если процесс, протекающий в системе с дискретными состояниями и непрерывным временем, является марковским, то для его описания можно построить довольно простую математическую модель. Но перед этим познакомимся с важным понятием теории вероятностей – понятием «потока событий».