1.5. Рекуррентный метод наименьших квадратов
Рассмотренный выше метод оценки параметров линейной регрессии можно назвать методом обработки результатов измерений по полной выборке. Существенный недостаток этого метода состоит в том, что для его применения необходимо иметь сразу все результаты измерений, что зачастую не позволяет вести вычисления в реальном масштабе времени при поступлении новых выборочных данных.
Этого недостатка
лишены рекуррентные вычислительные
методы, суть которых состоит в следующем.
Допустим, что по n
парам
наблюдений входного и выходного сигналов
получена оценка вектора параметров
.
При поступлении
-го
наблюдения строится оценка
,
причем для ее построения используется
не вся последовательность наблюдений,
а только
-е
наблюдение и результаты вычисления
.
Большинство рекуррентных методов приводят к алгоритмам следующего вида:
|
(1.34) |
,
где
–
матрица коэффициентов той или иной
структуры, зависящая от типа алгоритма;
–
вектор невязок, который в случае модели
регрессии, линейной по параметрам, имеет
вид
|
(1.35) |
.
Задача рекуррентного, или итеративного, оценивания может рассматриваться как задача улучшения старой оценки , например в адаптивных системах управления (рис. 1.6).
Рис. 1.6. Схема улучшения оценки параметров модели
Получим выражения для рекуррентного вычисления оценок параметров, используя метод МНК для линейной регрессии.
Введем обозначения
для матриц базисных функций, рассчитанных
для выборок объемом n
и
соответственно:
,
,
вектора базисных
функций для элемента выборки
:
,
вектора выборочных значений выхода:
,
.
Определив исходные матрицы, выведем выражения для рекуррентной процедуры расчета параметров модели.
Несовместные системы уравнений для выборок, включающих n и измерений имеют вид
|
(1.36) |
,
.
Введем
обозначения
,
.
Тогда МНК-оценки векторов коэффициентов,
полученных по n
и
измерениям, будут следующими:
|
(1.37) |
,
.
Свяжем оценки и между собой, для чего рассмотрим матрицу
|
(1.38) |
.
Используя свойство
обратных матриц:
,
а также лемму об обращении матриц:
,
перепишем выражение (1.38):
|
(1.39) |
.
Выразим вектор параметров для выборки объемом :
|
|
|
(1.40) |
.
Из (1.38) получаем:
|
(1.41) |
.
Подставляя (1.41) в (1.40), окончательно имеем:
|
(1.42) |
Для того чтобы
начать процедуру оценивания по
рекуррентной схеме в соответствии с
формулой (1.42), необходимо знать начальные
значения вектора оценок параметров
и матрицу
.
Для их задания существуют следующие
способы:
– берутся первые n наблюдений, и с помощью нерекуррентного МНК определяется начальная оценка параметров и матрица P. Далее для уточнения оценки по новым измерениям применяется рекуррентный метод. Недостаток этого способа заключается в необходимости обращения матрицы на первом шаге;
– начальные
значения параметров выбираются
произвольно, исходя из имеющейся
априорной информации, а матрица P
принимается
диагональной с элементами на главной
диагонали
,
т. е.
.
Начиная со следующего шага используется
рекуррентный МНК в виде (1.42).
Необходимо отметить, что оценки коэффициентов модели, вычисленные с использованием рекуррентного МНК для линейного случая, совпадают с оценками, полученными базовым алгоритмом, оперирующим с полным набором выборочных данных.