Лекция 45
Метод наименьших квадратов
Излагается метод наименьших квадратов, состоящий в определении m параметров в наперед заданной формуле так, чтобы в эту формулу наилучшим образом «укладывались» бы известные n пар значений х и у.
На практике часто приходится решать следующую задачу. Пусть для двух функционально связанных величин х и у известны n пар соответствующих значений (x1, y1), (x2, y2), ..., (xn, yn). Требуется в наперед заданной формуле y = f (x, a1, a2, ..., am) определить m параметров a1, a2, ..., am (m < n) так, чтобы в эту формулу наилучшим образом «вложить» известные n пар значений х и у.
По методу наименьших квадратов искомые значения параметров a1, a2, ..., am дают минимум функции
S = ∑n [f (xk , a1, a2 , ..., am ) − yk ]2 ,
k = 1
т.е. сумму квадратов отклонений значений у, вычисленных по формуле от заданных. Поэтому такой способ и получил название метода наименьших квадратов.
Если функция f (x, a1, a2, ..., am) имеет непрерывные частные производные по всем своим аргументам, то необходимое условие минимума функции S представляет собой систему m уравнений с m неизвестными:
∂ S |
= 2∑n |
[f (xk , a1 , a2 |
, ..., am ) − yk |
]∂ f (xk , a1 , a2 , ..., am ) |
= 0 , |
(1) |
∂ a j |
|
k = 1 |
|
|
∂ a j |
|
|
|
|
j = 1, 2, ..., m. |
|
Эта система называется нормальной системой метода наименьших квадратов.
На практике заданную формулу y = f (x, a1, a2, ..., am) иногда приходится (в ущерб строгости полученного решения) преобразовывать к такому виду, чтобы систему (1) было проще решать.
Рассмотрим частные случаи:
10. y = a |
xm + a |
xm-1 + ... + a |
m |
(m + 1 параметров, a |
, a |
, |
a |
, |
..., a |
m |
; |
0 |
1 |
|
0 |
1 |
|
2 |
|
|
|
n > m + 1). |
|
|
|
|
|
|
|
|
|
|
|
Система (1) принимает следующий вид: