35. Содержание метода наименьших квадратов

Снова запишем вид соотношения (5) S =  (y_i – ŷ_i)²  min, и распишем его подробнее:

_{N N N}

S =  (y_i – ŷ_i)² =  [y_i – (a + bx_i) ]² =  (y_i – a - bx_i)²  min. (7)

^{I=1 I=1 I=1}

Далее потупим так, как и в случае с вышеприведенным примером по нахождению экстремума у функции вида (1), с тем лишь отличием, что в качестве неизвестных переменных будем рассматривать не функцию у, а коэффициенты уравнения (5) а и b. С целью упрощения последующих записей переменные у знака суммы и остальные индексы обозначать не будем.

Для решения поставленной задачи продифференцируем выражение (7) по двум неизвестным а и b в так называемых частных производных.

∂S

— = 2  (y – a - bx) (0 – 1 - 0) = 2  (y – a - bx) (-1) = 0. (8)

∂a

Разделим обе части равенства (8) на (-1), в правой части равенства (8) останется 0. Понятно, 2 ≠ 0, следовательно,

 (y – a - bx) = 0. (9)

Распишем выражение (9) следующим образом.

 (y – a - bx) = у - а - b = 0; у = а + b х = а  + b х.

Поскольку  = 1= (1 + 1 + … + 1) = N, то выражение (9) примет вид:

 у = аN + b х (10)

В уравнении (10) все переменные, то есть у, х и N, – известные величины, суть исходные данные для получения уравнения регрессии, коэффициент а – неизвестная величина.

Проделаем подобные операции по отношению к еще одной неизвестной величине – коэффициенту b.

∂S

— = 2  (y – a - bx) (0 – 0 – x) = 2  (y – a - bx) (-x) = 0. (11)

∂b

Если в выражении (11) 2 ≠ 0, то остальная часть равенства (11) примет вид:

 (yx – ax – bx²) = yx - ax -  bx² = 0;

xy = a x + b x² (12)

Таким образом, выражение (8) и (12) составляют систему двух уравнений (13) с двумя неизвестными, коэффициентами а и b, а это, в свою очередь, означает, что данная система уравнений – имеет единственное решение.

 а N + b х = у

{ (13)

 a x + b x² = xy

Решение системы уравнений (13) может быть осуществлено несколькими способами: методом подстановки, когда одно неизвестное выражается через другое, методом Крамера (метод определителей) и матричным методом. Заметим, однако, что применение первых двух способов оправдано лишь в случаях, когда число неизвестных не превышает трех. Матричный метод – наиболее универсальный, и именно он используется в вычислительных процедурах на ЭВМ средствами ППП, что рассмотрим несколько ниже.

Для решения системы уравнений (13) воспользуемся методом определителей, как наиболее наглядным, для чего перепишем систему (13) в следующем виде.

(для а) (для b) (для правых частей выражения 13)

 N х   у 

  =   (14)

 х x²   xy 

Вычислим главный и частные определители по известным правилам, когда столбцы при соответствующих неизвестных замещаются правыми частями выражения (14):

∆ = N x² - (х )² ,

∆ _a = у x² - х xy ,

∆ _b = N xy - х у.

Тогда искомые значения коэффициентов а и b будут следующими:

∆ _a у x² - х xy

а = — = ——————— , (15)

∆ N x² - (х )²

∆ _b N xy - х у

b = — = ——————— , (16)

∆ N x² - (х )²

Если коэффициенты регрессии а и b вычислены правильно, то в этом легко убедиться по тождеству (16а), иллюстрирующего тот факт, что если мы подставим среднее значение х, то при найденных коэффициентах получим среднее значение у:

у_ср ≡ а + b х_ср . (16а)

Далее рассмотрим процесс нахождения величин коэффициентов линейной функции вида (6) на конкретном, т.н. «модельном» примере.