ЕГОРОВ В.А.- Обработка траекторий случайных процессов

ВВЕДЕНИЕ

Несколько лет назад для магистрантов ФКТИ была введена новая учебная дисциплина «Статистика случайных процессов». Предлагаемое учебное пособие предназначено для методической поддержки этой дисциплины. Оно также может быть полезным студентам других факультетов и инженернотехническим работникам, которые сталкиваются с обработкой статистических данных.

Чем же отличаются задачи классической математической статистики от статистических задач, возникающих при исследовании случайных процессов?

В классической математической статистике оценки и статистические выводы строятся на основе повторной выборки, т. е. на основе наблюдений а набором из n независимых случайных величин или векторов. Очень важными становятся асимптотические свойства оценок при n , поскольку обычно вся информация об интересующих исследователей параметрах содержится в бесконечном числе наблюдений.

При статистическом исследовании случайных процессов наблюдениями являются траектории, каждая из которых содержит всю требуемую информацию о параметрах. В этом случае исследователи сосредотачивают внимание на задачах обработки одной траектории или ее части. Такие задачи как по постановке, так и по методам решения сильно отличаются от задач классической статистики.

Впредлагаемом пособии исследуются случайные процессы с дискретным и непрерывным временем. Сначала вводятся понятия, связанные с изучаемыми вопросами, исследуются основные характеристики случайных процессов. Затем решаются задачи оценивания математического ожидания, ковариационной и спектральной функций, спектральной плотности процессов, задачи прогнозирования для стационарных в широком смысле процессов и задачи рекуррентного условного оценивания в схеме Калмана.

Впервом разделе пособия приведены необходимые для дальнейшего изложения сведения из теории вероятностей и математической статистики.

Вучебном плане студентов отсутствует учебный курс по случайным процессам, поэтому в начале второго раздела пособия приведены основные определения и некоторые факты из теории случайных процессов. В оставшейся части второго раздела описаны типы изучаемых случайных процессов, приведены их некоторые свойства. Третий и четвертый разделы посвящены стохас-

3

тическому дифференцированию и интегрированию случайных процессов. В пятом разделе рассмотрены конкретные случайные в широком смысле процессы, доказаны некоторые их свойства, приведена общая конструкция стационарных в широком смысле случайных процессов с помощью унитарных операторов. В шестом разделе получено спектральное представление для стационарных в широком смысле случайных процессов. В седьмом и восьмом разделах выведены состоятельные оценки среднего и ковариационной функции. В девятом разделе исследовано изменение спектрального представления при дифференцировании случайного процесса. В десятом разделе приведены примеры вычисления спектральной плотности для некоторых процессов. В одиннадцатом разделе рассмотрены проблемы, связанные с оцениванием спектральной плотности. Двенадцатый раздел посвящен задачам прогнозирования для стационарных процессов, тринадцатый раздел – фильтру Калмана.

Пособие содержит большое число полезных задач и упражнений. При работе над пособием использованы источники [1]–[7].

Для удобства чтения, где это необходимо, окончание формулировок и доказательств отмечается знаком ▼.

1.НЕКОТОРЫЕ СВЕДЕНИЯ ИЗ ТЕОРИИ ВЕРОЯТНОСТЕЙ

ИМАТЕМАТИЧЕСКОЙ СТАТИСТИКИ

1.1. Определения различных типов сходимости, применяемых в теории вероятностей

Определение 1.1. Последовательность распределений случайных векторов Xn слабо сходится к распределению случайного вектора X, если Ef (Xn ) Ef (X) при (n ) для каждой непрерывной ограниченной функции f . В этом случае иногда для краткости говорят, что Xn при (n )

слабо сходится к и пишут X слабо X. ▼

X n

Для одномерных случайных величин слабая сходимость сводится к сходимости функций распределения Fn (x) случайных величин X n к функции распределения F (x) предельной случайной величины X в точках непрерывности функции F(x).

Определение 1.2. Последовательность случайных векторов Xn сходится по вероятности к случайному вектору X, если для любого положи-

4

тельного числа ε выполняется равенство lim P(| Xn X | ε) 0. Из общего n

курса теории вероятностей известно (см. [1] или [2]), что из сходимости по вероятности случайных векторов следует их слабая сходимость. Если предельный случайный вектор X детерминирован, то сходимость по вероятности совпадает со слабой сходимостью.▼

Определение 1.3. Последовательность случайных векторов Xn сходится в среднем квадратичном к случайному вектору X, если справедливо соот-

ношение lim E Xn X 2 0 . ▼

n

Определение 1.4. Последовательность случайных векторов Xn сходится с вероятностью единица к случайному вектору X, если справедливо соот-

ношение P lim Xn X 1. ▼ n

Из определений 1.2–1.4 следует, что сходимость по вероятности, сходимость в среднем квадратичном и сходимость с вероятностью единица определены только, если случайные векторы Xn и X заданы на одном вероятностном пространстве.

1.2. Взаимоотношения между различными типами сходимости

Известно, что слабая сходимость и сходимость по вероятности следуют как из сходимости с вероятностью единица, так и из сходимости в среднем квадратичном, но из сходимости в среднем квадратичном не следует сходимость с вероятностью единица. Для иллюстрации различий этих видов сходимости рассмотрим следующий пример.

Пример 1.1. Пусть ξi – последовательность ортонормированных слу-

L2

чает, что X N 0 , т. е. для последовательности случайных величин ξi выполняется среднеквадратический закон больших чисел.

5

С другой стороны, для справедливости усиленного закона больших чисел, т. е. для соотношения P( X N 0) 1, ортогональности случайных величин ξi не достаточно. В математических статьях, посвященных исследованию усиленного закона больших чисел, построены примеры последовательностей случайных величин ξi , для которых выполнены условия ортогональности и для которых усиленный закон больших чисел не выполняется. Следовательно, при сформулированных в прим. 1.1 условиях последовательность случайных величин X N может с положительной вероятностью не сходиться к нулю.

1.3.Применение различных типов сходимости

Вклассических задачах математической статистики, связанных с проверкой статистических гипотез, используется слабая сходимость распределений случайных величин и векторов. При исследовании состоятельности оценок используются и другие типы сходимости.

Взадачах фильтрации случайных процессов обычно применяется сходимость в среднем квадратичном, в задачах исследования асимптотических свойств траекторий случайных процессов часто используется сходимость с вероятностью единица. В этом пособии используется среднеквадратическая сходимость случайных процессов.

1.4.Нормальное (гауссовское) распределение

Определение 1.5. Невырожденным нормальным распределением случайного n-мерного вектора X называется распределение с плотностью

Здесь m − математическое ожидание вектора X, невырожденная матрица K – его ковариационная матрица.

1.5. Сведения из математической статистики

Определение 1.6. Повторная выборка – это набор независимых одинаково распределенных случайных величин или векторов (наблюдений) X1, ..., Xn с неизвестным или частично известным распределением. Векторы X1, ..., Xn рассматриваются как результаты n независимых наблюдений над исследуемым объектом. Число n называется объемом выборки. ▼

6

Выборка является исходным объектом для применения методов классической математической статистики.

Определение 1.7. Оценкой параметров распределения выборки (математического ожидания, дисперсии, среднеквадратического отклонения и пр.) называется произвольная измеримая функция от выборки, не зависящая от параметров. ▼

Определение 1.7 на первый взгляд кажется бессмысленным, однако свойства оценок, частично сформулированные в определениях 1.8 и 1.9, придают ему статистический смысл.

Определение 1.8. Оценка называется состоятельной, если при n она сходится по вероятности к той характеристике, которую оценивает. ▼

Если в этом определении вместо сходимости по вероятности использовать сходимость в среднем квадратичном, то получим состоятельность в среднем квадратичном, а если использовать сходимость с вероятностью единица, то получим сильную состоятельность.

Определение 1.9. Оценка называется несмещенной, если ее математическое ожидание равно значению оцениваемой характеристики. ▼

Пример 1.2. Для повторной выборки из распределения, обладающего

1 n

конечной дисперсией, оценка математического ожидания x n i1 Xi является состоятельной и несмещенной. ▼

1.6. Условное математическое ожидание

Определение 1.10. Пусть два случайных вектора X и Y имеют совместную дискретную или абсолютно непрерывную плотность распределения p(x, y). Условное математическое ожидание E(X | Y) случайного вектора X при фиксированном значении случайного вектора Y является функцией относительно Y и при Y y определяется равенством

Здесь p1(y) обозначает плотность случайного вектора Y .

7

Все интегралы в определении 1.10 являются кратными в случае абсолютно непрерывного распределения.

В случае дискретного распределения приведенное определение в развернутом виде примет вид

Условное математическое ожидание в теории вероятностей с помощью интеграла Лебега−Стильтьеса определяется для всех случайных векторов, имеющих конечное математическое ожидание (см. [1]). Для целей предлагаемого пособия достаточно использовать условные математические ожидания только для случайных векторов, имеющих дискретные и абсолютно непрерывные распределения.

Условное математическое ожидание E(X | Y) при фиксированном Y обладает всеми свойствами обычного математического ожидания и очень полезными дополнительными свойствами. Для формулировки этих дополнительных свойств введем определение.

Определение 1.11. Случайный вектор Y1 грубее случайного вектора Y2 , если Y1 является вектор-функцией от Y2 . Если случайный вектор Y1

1.7. Дополнительные свойства условного математического ожидания

Здесь приведем только наиболее полезные в теории вероятностей свойства условного математического ожидания.

Если Y1 Y2 , то

в частности, E(E(X | Y)) E(E(X | Y) | C) E(X | C) EX.

Если X Y, то E(X | Y) X .

Если векторы X, Y независимы, то E(X | Y) EX .

Для случайных величин X с конечными дисперсиями

DX ED(X | Y) D[E(X | Y)].

8

Из последнего равенства следует, что DX D(E(X | Y)) и для любой постоянной a справедливо неравенство E( X a)2 E(E( X | Y) a)2.

1.8. Условные математические ожидания для нормальных векторов

Для векторов X,Y, имеющих невырожденное совместное нормальное распределение, условное математическое ожидание E(X | Y) является линейной функцией относительно переменной Y , ее можно выразить через векторы математических ожиданий и ковариационные функции случайных векторов X и Y .

Для одномерных случайных величин X ,Y условное математическое ожидание E(X |Y ) называется регрессией X на Y и вычисляется по формуле

E(X | Y ) EX r(X , Y ) σ(X )/σ(Y ) (Y EY ),

где σ2( X ), σ2(Y ) – дисперсии случайных величин X , Y , а r( X , Y ) – коэффициент корреляции между ними.

Задача 1.2. Найти (X|Y) и E(Y|X), где двумерный дискретный случайный вектор (X, Y) распределен в соответствии с таблицей.

9

Задача 1.3. Показать, что что при t τ для винеровского процесса Wt справедливо равенство E(Wt |Wτ ) t/τ Wτ.

2. ИЗУЧАЕМЫЕ ТИПЫ СЛУЧАЙНЫХ ПРОЦЕССОВ

Определение 2.1. Случайный процесс можно понимать как совокупность случайных векторов, индексированных элементами параметрического множества T. Предполагается, что эти векторы заданы на одном вероятностном пространстве. ▼

Математически более строгое определение состоит в том, что случайный процесс является функцией двух переменных X (t, ω), (t, ω) T Ω . Многомерный случайный процесс – это измеримая вектор-функция X(t, ω), (t, ω) T . Здесь − это множество элементарных событий, переменная t часто интерпретируется как время.

Определение 2.2. Фазовым пространством S случайного процесса или пространством состояний называется множество его возможных значений. ▼ Обычно фазовое пространство – это множество вещественных или ком-

плексных чисел.

Определение 2.3. Случайная траектория или реализация процесса X (t, ω) – это функция X (t, ω) при фиксированном значении ω . ▼

Определение 2.4. Распределение случайного процесса – это функция, которая придает вероятности различным измеримым множествам траекторий. С точки зрения теории вероятностей случайный процесс полностью определяется своим распределением.▼

Определение 2.5. Конечномерными (или цилиндрическими) множествами случайного процесса X(t) X(t, ω) называются случайные множества

римые множества в фазовом пространстве. ▼ Определение 2.6. Конечномерными распределениями случайного про-

цесса X(t) X(t, ω) называются вероятности конечномерных множеств, рас-

сматриваемые как функции множеств A , ..., A . ▼

1 n

Через конечномерные распределения можно выразить распределение самого случайного процесса.

10