книги / Основы теории оценивания с приложениями к задачам обработки навигационной информации. Ч. 1 Введение в теорию оценивания
.pdfГОСУДАРСТВЕННЫЙ НАУЧНЫЙ ЦЕНТР РОССИЙСКОЙ ФЕДЕРАЦИИ ЦЕНТРАЛЬНЫЙ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ ИНСТИТУТ
• Э Л Е К Т Р О П Р И Б О Р •
САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ
О. А. СТЕПАНОВ
ОСНОВЫ ТЕОРИИ ОЦЕНИВАНИЯ
СПРИЛОЖЕНИЯМИ
КЗАДАЧАМ ОБРАБОТКИ НАВИГАЦИОННОЙ ИНФОРМАЦИИ
ЧАСТЬ 1
ВВЕДЕНИЕ В ТЕОРИЮ ОЦЕНИВАНИЯ
Допущено Учебно-методическим объединением вузов по университетскому политехническому образованию
в качестве учебного пособия для студентов высших учебных заведений, обучающихся по направлению
160400 «Системы управления движением и навигация»
Санкт-Петербург
2009
Публикуется по решению редакционной коллегии ГНЦ РФ ЦНИИ «Электроприбор»
Рецензенты: д.т.нпрофессор, заслуженный деятель науки РФ С.П.Дмитриев д.т.н., профессор, заслуженный деятель науки РФ И.Б.Челпанов
Основы теории оценивания с приложениями к задачам обработки навига ционной информации. Ч. 1. Введение в теорию оценивания /
О.А.Степанов. - СПб.: ГНЦ РФ ЦНИИ «Электроприбор», 2009.- 496 с. ISBN 978-5-900780-86-3.
Излагаются общие принципы и подходы, используемые при построении алго ритмов оценивания как в линейных, так и в нелинейных задачах. Значительное внимание уделяется обоснованию возможности синтеза наиболее распространен ных стохастических алгоритмов оценивания на основе детерминированного подхо да, не требующего привлечения понятий теории вероятностей. Анализируется взаимосвязь алгоритмов, получаемых в рамках рассматриваемых подходов при различном объеме априорной информации. Методы и алгоритмы, полученные для постоянного вектора, обобщаются применительно к оцениванию случайных после довательностей, наиболее важными из которых являются алгоритмы калмановского типа.
Предлагаемый материал поясняется на примерах и задачах методического ха рактера, а также связанных с обработкой навигационной информации, в частности, применительно к задаче оценивания коэффициентов полинома, определения сдви га между реализациями, определения координат по точечным ориентирам и спут никовым данным, коррекции показаний навигационной системы с использованием внешних данных и комплексной обработки избыточных измерений.
Приводятся необходимые сведения из теории вероятностей и теории матрич ных исчислений, а также описание используемых разделов Matlab.
Материал книги четко структурирован, что существенно облегчает его изучение и возможность использования для формирования курсов лекций по отдельным разделам для слушателей с различным уровнем подготовки.
Книга адресована студентам старших курсов и аспирантам, специализирую щимся в рассматриваемой области, а также инженерам и научным работникам, чьи интересы связаны с проблемами построения эффективных алгоритмов оценивания не только применительно к задачам обработки навигационной информации, но и в смежных областях, связанных с задачами обработки гидроакустической информа ции и траекторного слежения.
Библиогр.: 133 назв., 35 табл., 96 ил.
ISBN 978-5-900780-86-3 |
© |
ГНЦ РФ ЦНИИ «Электроприбор», 2009 |
|
© |
О.А.Степанов, 2009 |
Введение..................................................................................................... |
|
9 |
Условные сокращения............................................................................................ |
|
14 |
Глава 1 . Элементы теории вероятностей............................................ |
15 |
|
1.1. Случайные величины и методы их описания................... |
16 |
|
1.1.1. Определение случайной величины и ее описание.......... |
17 |
|
1.1.2. Статистические характеристики случайных |
|
|
величин....................................................................................... |
|
22 |
1.1.3. Гауссовские случайные величины и их характери |
|
|
стики........................................................................................... |
|
26 |
1.1.4. Типы случайных величин..................................................... |
31 |
|
Задачи к разделу.............................................................................. |
35 |
|
Контрольные вопросы.................................................................... |
36 |
|
1.2. Случайные векторы и методы их описания...................... |
38 |
|
1.2.1. Определение случайного вектора и его описание......... |
- |
|
1.2.2. Статистические характеристики случайных |
39 |
|
векторов.................................................................................... |
|
|
1.2.3. Гауссовские случайные векторы и их характери |
|
|
стики........ |
!................................................................................. |
42 |
1.2.4. Среднеквадратический эллипс ошибок, |
|
|
круговая вероятная ошибка................................................. |
47 |
|
Задачи к разделу............................................................................... |
50 |
|
Контрольные вопросы................................................................... |
53 |
|
1.3. Преобразование случайных величин и векторов............ |
54 |
|
1.3.1. Функции случайных величин................................................. |
- |
|
1.3.2. Функции случайных векторов........................................... |
59 |
|
1.3.3. Линейные преобразования случайных векторов........... |
64 |
|
1.3.4. Определение статистических свойств длины |
|
|
проекции случайного двухмерного вектора |
67 |
|
на заданное направление....................................................... |
||
1.3.5. Ортогонализация случайных величин. Связь мат |
|
|
рицы ковариаций и среднеквадратического эллип |
|
|
са ................................................................................................. |
|
71 |
Задачи к разделу............................................................................... |
74 |
|
Контрольные вопросы..................................................................... |
80 |
|
1.4. Условная плотность распределения вероятностей............ |
81 |
1.4.1. Формулы Байеса. Условные математическое |
|
ожидание и матрица ковариаций......................................... |
- |
1.4.2. Правила нахождения параметров условной |
|
гауссовской плотности........................................................... |
83 |
1.4.3. Примеры нахождения параметров условной |
|
гауссовской плотности........................................................... |
85 |
1.4.4. Задача регрессии...................................................................... |
90 |
Задачи к разделу.................................................................................. |
91 |
Контрольные вопросы....................................................................... |
94 |
1.5. Моделирование случайных величин и векторов |
|
и вычисление их выборочных характеристик.................. |
95 |
15.1. Псевдослучайные последовательности, датчики |
|
случайных чисел........................................................................... |
- |
1.5.2. Метод Монте-Карло.............................................................. |
96 |
1.5.3. Выборочные статистические характеристики........ |
97 |
1.5.4. Гистограмма............................................................................. |
99 |
1.5.5. Моделирование случайных величин в Matlab................. |
101 |
Контрольные вопросы..................................................................... |
107 |
1.6. Задания для моделирования с использованием Matlab ....... |
- |
Заключение к главе 1 ....................................................................... |
109 |
Глава 2. Основы теории оценивания............................................................ |
110 |
2.1. Примеры и постановки задач оценивания постоян |
|
ных параметров при обработке навигационной ин |
|
формации................................................................................................ |
112 |
2.1.1. Оценивание коэффициентов полинома.............................. |
- |
2.1.2. Задача начальной выставки инерциальной |
|
навигационной системы. Простейший случай............. |
115 |
2.1.3. Постановка линейной задачи оценивания..................... |
116 |
2.1.4.Определение относительного сдвига реализаций ,...117
2.1.5.Определение координат по измерениям дально
стей до точечных ориентиров............................................ |
120 |
2.1.6. Определение координат и скорости по спутни |
|
ковым данным .......................................................................... |
122 |
2.1.7. Постановка нелинейной задачи оценивания |
|
и ее линеаризация...................................................................... |
123 |
2.1.8. Задача комплексной обработки избыточных |
|
измерений..................................................................................... |
127 |
Задачи к разделу................................................................................ |
130 |
Контрольные вопросы .................................................................... |
133 |
2.2. Решение задач оценивания на основе детермини |
|
рованного подхода. Метод наименьших квадратов.......... |
135 |
2.2.1. Основные положения и постановка задачи |
|
в методе наименьших квадратов........................................... |
- |
2.2.2. Общее решение задачи синтеза алгоритмов |
|
на основе метода наименьших квадратов |
|
в линейном случае ................................................................... |
141 |
2.2.3. Анализ точности в методе наименьших квадратов |
|
в линейном случае.................................................................... |
145 |
2.2.4. Взаимосвязь и сопоставление различных алгорит |
|
мов метода наименьших квадратов |
|
в линейном случае..................................................................... |
151 |
2.2.5. Решение нелинейных задач оценивания. Линеаризо |
|
ванные и итерационные алгоритмы................................... |
159 |
2.2.6. Особенности существенно нелинейных задач |
|
оценивания................................................................................. |
169 |
Задачи к разделу............................................................................ |
174 |
Контрольные вопросы.................................................................. |
182 |
2.3. Небайесовские алгоритмы оценивания............................... |
184 |
2.3.1. Основные полоэюения и постановка задачи....................... |
- |
2.3.2. Метод максимума правдоподобия.................................... |
188 |
2.3.3. Общее решение линейной гауссовской задачи. |
|
Взаимосвязь с алгоритмами метода наименьших |
|
квадратов.................................................................................... |
192 |
2.3.4. Решение нелинейной гауссовской задачи. Взаимо |
|
связь с алгоритмами метода наименьших квадра |
|
тов ................................................................................................ |
195 |
Задачи к разделу................................................................................ |
198 |
Контрольные вопросы...................................................................... |
203 |
2.4. Байесовский подход. Линейные оптимальные оценки. ... |
205 |
2.4.1. Постановка задачи и ее общеерешение.............................. |
- |
2.4.2. Свойства линейных оптимальных оценок...................... |
210 |
2.4.3. Решение линейной задачи. Взаимосвязь с алгорит |
|
мами метода наименьших квадратов............................... |
212 |
2.4.4. Решение нелинейной задачи................................................ |
216 |
Задачи кразделу................................................................................ |
222 |
Контрольные вопросы...................................................................... |
226 |
2.5. Байесовский подход. Оптимальные оценки....................... |
227 |
2.5.1. Постановка задачи и ее общее решение.............................. |
- |
2.5.2. Свойства оптимальных оценок......................................... |
229 |
2.5.3. Решение линейной гауссовской задачи. |
|
|
|
Взаимосвязь с алгоритмами метода наименьших |
|
|
квадратов и максимума правдоподобия............................ |
232 |
2.5.4. Методы синтеза субоптимальных алгоритмов |
|
|
|
калмановского типа для решения нелинейных задач .... |
237 |
2.5.5. Методы синтеза субоптимальных алгоритмов |
|
|
|
для решения существенно нелинейных задач.................... |
243 |
2.5.6. Анализ эффективности субоптимальных алго |
|
|
ритмов ........................................................................................... |
249 |
|
2.5.7. Приближенные методы анализа потенциальной |
|
|
|
точности при решении нелинейных задач........................ |
260 |
2.5.S. |
Повышение точности оценивания |
|
при использовании нелинейных алгоритмов...................... |
267 |
|
2.5.9. |
Сопоставление байесовского и небайесовского |
|
подходов......................................................................................... |
273 |
|
Задачи к разделу................................................................................... |
276 |
|
Контрольные вопросы ....................................................................... |
281 |
|
2*6. Реализация алгоритмов комплексной обработки из |
|
|
быточных измерений........................................................................ |
283 |
|
2.6.1. Инвариантная схема обработки............................................. |
- |
|
2.6.2. Неинвариантная схема обработка.................................... |
286 |
|
2.6.3. Централизованная и децентрализованная схемы |
|
|
обработки..................................................................................... |
289 |
|
2.6.4. Рекуррентная схема обработки.......................................... |
292 |
|
2.6.5. Разностная схема обработки............................................... |
294 |
|
Задачи к разделу................................................................................... |
303 |
|
Контрольные вопросы......................................................................... |
311 |
|
2.7. Задания для моделирования с использованием M atlab ... |
312 |
|
Заключение к главе 2 .......................................................................... |
314 |
|
Глава 3. Основы теории фильтрации случайных последовательно
стей............................................................................................................. |
316 |
3.1. Случайные последовательности............................................. |
318 |
3.1.1. Определение случайной последовательности |
|
и ее описание..................................................................................... |
- |
3.1.2. Стационарные случайные последовательности. |
|
Дискретный белый шум............................................................ |
321 |
3.1.3. Марковские последовательности....................................... |
324 |
3.1.4. Формирующий фильтр............................................................ |
325 |
3.1.5. Динамика изменения матрицы ковариаций марков |
|
ской последовательности........................................................ |
331 |
Задачи к разделу..................................................................................... |
335 |
Контрольные вопросы..................................................................... |
339 |
3.2. Оптимальные линейные алгоритмы фильтрации |
|
случайных последовательностей.......................................... |
340 |
3.2.1. Постановка и решение задачи нерекуррентного |
|
оптимального линейного оценивания случайных по |
|
следовательностей ..................................................................... |
- |
3.2.2. Постановка задачи рекуррентной оптимальной |
|
линейной фильтрации случайных последовательно |
|
стей ............................................................................................. |
346 |
3.2.3. Фильтр Колмана для случайных последовательно |
|
стей ............................................................................................. |
348 |
3.2.4. Уравнения ошибок фильтра Калмана. Инноваци |
|
онная последовательность................................................... |
358 |
3.2.5. Динамика изменения матрицы ковариаций и уста |
|
новившийся режим в задаче фильтрации........................ |
361 |
3.2.6. Наблюдаемость в задачах оценивания случайных |
|
последовательностей............................................................ |
365 |
3.2.7. Модификации дискретного фильтра Калмана............ |
369 |
Задачи к разделу................................................................................. |
371 |
Контрольные вопросы..................................................................... |
374 |
3.3. Рекуррентные оптимальные байесовские алгоритмы |
|
фильтрации случайных последовательностей................ |
376 |
3.3.1. Постановка и общее решение задачи рекуррентной |
|
оптимальной фильтрации случайных последова |
|
тельностей .................................................................................... |
- |
3.3.2. Рекуррентное соотношение для апостериорной |
|
плотности в нелинейной задаче фильтрации.................. |
379 |
3.3.3. Вывод соотношений для фильтра Калмана, свой |
|
ства оптимальных оценок..................................................... |
381 |
3.3.4. Методы синтеза рекуррентных субоптимальных |
|
алгоритмов решения нелинейных задач фильтрации ... |
387 |
3.3.5. Анализ эффективности субоптимальных алго |
|
ритмов решения нелинейных задач фильтрации |
|
случайных последовательностей........................................ |
394 |
Задачи кразделу................................................................................ |
396 |
Контрольные вопросы...................................................................... |
400 |
3.4. Задача сглаживания и алгоритм ее решения..................... |
401 |
3.4.1. Типы задач сглаживания.......................................................... |
- |
3.4.2. Решения задачи сглаживания на закрашенном ин |
|
тервале ........................................................................................ |
402 |
3.4.3. Соотношение задач фильтрации и сглаживания........ |
407 |
3.4.4. Решение задач фильтрации и сглаживания на ос |
|
нове детерминированного подхода с использовани |
|
ем метода наименьших квадратов...................................... |
409 |
Задачи к разделу.................................................................................... |
413 |
Контрольные вопросы ....................................................................... |
415 |
3.5. Задачи фильтрация и сглаживания случайных по |
|
следовательностей при комплексной обработке на |
|
вигационных измерений............................................................. |
416 |
3.5.1. Задачи фильтрации при комплексной обработке |
|
показаний систем, непосредственно измеряющих |
|
искомые параметры....................................................................... |
- |
3.5.2. Задачи фильтрации при коррекции показаний нави |
|
гационной системы. Линеаризованный случай................ |
421 |
3.5.3. Задачи фильтрации при коррекции показаний нави |
|
гационной системы. Нелинейный случай........................... |
427 |
3.5.4. Задачи фильтрации при комплексной обработке |
|
показаний инерциальных и спутниковых систем............ |
430 |
3.5.5. Задачи фильтрации и сглаживания случайных по |
|
следовательностей при комплексной обработке по |
|
казаний гравиметра, данных о высоте и вертикаль |
|
ной скорости................................................................................. |
438 |
Задачи к разделу.................................................................................... |
443 |
Контрольные вопросы........................................................................ |
444 |
3.6. Задания для моделирования с использованием Matlab ....... |
- |
Заключение к главе 3 .......................................................................... |
447 |
П риложения.............................................................................................................. |
449 |
П1. Матричные операции и их реализация в M atlab................... |
- |
171.1. Основные матричные операции............................................ |
- |
П1.2. Матричные операции в M atlab......................................... |
462 |
Контрольные задачи и вопросы................................................... |
468 |
П2. Построение графиков в M atlab.................................................. |
470 |
172.1. Элементарная графика M atlab............................................. |
- |
Г72.2. Построение двухмерных графиков Matlab................... |
472 |
Заключение.................................................................................................................. |
474 |
Литература................................................................................................................... |
477 |
Предметный указатель........................................................................................... |
485 |
Английские термины............................................................................................... |
495 |
Свепыой памяти моих родителейАндрею Алексеевичу и Роксане Ми- хайловпе Степановым посвящается.
ВВЕДЕНИЕ
Научная и учебная литература по общей теории построения и применения алгоритмов оценивания динамических систем на ос нове стохастического подхода [36, 37, 116, 131], изданная в России до начала девяностых годов прошлого века, включает значитель ное количество серьезных работ как отечественных [1, 35, 40, 43, 44, 47, 58, 59, 62, 65, 67, 76, 77, 85-87, 89, 90,92, 96, 99, 101], так и зарубежных авторов [5, 7, 14-16, 46, 50, 56, 71, 72, 98]. Вопросы применения этих алгоритмов в задачах обработки навигационной информации также достаточно подробно рассматривались ранее [6, 9, 11, 12, 25, 39, 41, 49, 57, 68, 69, 78, 94, 95, 100]. К сожалению, все эти работы стали библиографической редкостью и не доступ ны широкому кругу читателей. Новые книги, посвященные при кладной теории оценивания, у нас практически не издаются. Две последние отечественные монографии по этой тематике вышли почти 15 лет назад [6, 25]. Вместе с тем в научной литературе, ка сающейся вопросов теории оценивания и ее применения при ре шении прикладных задач, в последнее время, в особенности за ру бежом, прослеживаются следующие тенденции.
Во-первых, периодически переиздаются наиболее востребован ные монографии. Так, например, книга [109], впервые опублико ванная в 1974 г., только к 1994 г. была выпущена уже более 10 раз. Во-вторых, публикуется новая литература научно-учебного харак тера, посвященная вопросам прикладной теории оценивания и ее
применению в задачах обработки навигационной информации [103, 104, 1 1 1 , 112, 114, 118, 121, 122, 124-126, 132, 133]. Такое положение представляется вполне обоснованным, поскольку появ ляются новые задачи, которые эффективно решаются с использо ванием теории оценивания, основанной на стохастическом подхо де, в том числе и за счет резко возросших характеристик совре менных вычислительных средств. Другая причина обусловлена возможностями широкого применения в учебном процессе совре менных пакетов прикладных программ, что позволяет более на глядно изложить предлагаемый к изучению материал [103, 104,
112].
По ряду научных направлений отмеченная ситуация просмат ривается и в России. Так, в области общей теории управления ста ли появляться современные научные и учебные издания, позво ляющие ознакомиться как с классическими разделами этой теории, так и с рядом новых направлений [2, 3, 32, 45, 48, 51-53, 55, 61, 63, 74].
Однако отмеченные тенденции в малой степени затрагивают область знаний, связанную с теорией оценивания и се применени ем для решения прикладных задач. Изредка появляющиеся работы теоретического и прикладного характера предназначаются, как правило, для уже сформировавшихся специалистов и посвящены специальным разделам теории, используемой как базовый инстру мент исследования. Основополагающие же вопросы обычно в этих книгах либо не обсуждаются, либо делается это лишь конспектив но, что затрудняет практическое применение излагаемых в них результатов [4, 17, 22, 24, 26, 30, 31, 54, 60, 6 6 , 70, 93, 102]. Кроме того, возможности, связанные с привлечением программных про дуктов в учебном процессе, до сих пор никак не используется.
Как попытка восполнить указанные пробелы и предлагается книга «Основы теории оценивания с приложениями к задачам обработки навигационной информации», подготовленная в виде учебного пособия. По структуре она запланирована из двух после довательно издаваемых самостоятельных частей.
Настоящее издание Введение в теорию оценивания представ ляет собой первую из этих частей, в которой основы теории оцени вания излагаются в контексте ее применения для решения задач обработки навигационной информации. Книга состоит из трех глав.