10.Оценка параметров парной регрессионной модели методом наименьших квадратов. (10)

Для оценки параметров линейной или линеаризованной модели применяется метод наименьших квадратов (МНК). Суть метода состоит в следующем: к реальным данным подбирается функция и её параметры, чтобы разности (отклонения, остатки) между реальными и вычисленными значениями у были минимальны. Но разностей много, поэтому минимизируется сумма квадратов этих разностей:

Рис.3.1. Отклонения реальных у от оценённой функции регрессии.

Как правило, вычисления проводятся на компьютере с использованием различных сервисов и программ. Далее мы рассмотрим технологию МНК, которую использовали при ручном вычислении параметров парной линейной регрессии.

Сумма квадратов остатков, зависящая от параметров a и b

где n – количество измерений. Эта функция достигает минимума в точке, где её частные производные по a и по b равны нулю:

или

an + bx = y

ax + bx² =xy

Это называется система нормальных уравнений. В ней два уравнения и два неизвестных a и b, а коэффициенты получаются суммированием х, у и т.д. Решать её можно разными способами. В данном случае использован сервис Excel Поиск решения для настройки линейной модели по данным X и Y, представленным в Таблице 3.1. Коэффициенты системы нормальных уравнений расположены в виде матрицы (верхние строки таблицы 3.2), неизвестные a и b задаются произвольно и умножаются на коэффициенты (нижние строки). В окне Поиска решения задаются: Целевая ячейка – первая сумма, Значение равно 247 (y), Изменяя ячейки – a и b, Ограничения: вторая сумма равна 3901 (xy). Исходные данные X и Y приведены в Таблице 3.1. результаты расчёта в Таблице 3.2.

Таблица 3.1. Таблица 3.2.

X	Y	X2	XY
10	12	100	120
11	15	121	165
12	18	144	216
13	16	169	208
14	24	196	336
15	22	225	330
16	27	256	432
17	28	289	476
18	25	324	450
19	32	361	608
20	28	400	560
Суммы 165	247	2585	3901

11	165	247
165	2585	3901
a	b
-4,27	1,78
		Суммы по строкам
-47,00	294,00	246,9999
-705,00	4606,00	3901

Теперь можно построить функцию регрессии Ŷ , сравнить её с Y и использовать для прогноза.

В принципе, МНК с Поиском решения можно использовать непосредственно. Для этого надо задать произвольные коэффициенты a и b, построить по ним функцию Ŷ = a + bX, вычислить остатки e = Y – Ŷ и их квадраты, сумму e².

В окне Поиска решения установить Целевая ячейка e² минимум, Изменяя ячейки a и b, ограничений нет.

Таблица 3.3.

X	Y	Ŷ	Остатки e	e2
10	12	13,545	-1,545	2,388
11	15	15,327	-0,327	0,107
12	18	17,109	0,890	0,793
13	16	18,890	-2,890	8,357
14	24	20,672	3,327	11,070
15	22	22,454	-0,454	0,206
16	27	24,236	2,763	7,637
17	28	26,018	1,981	3,927
18	25	27,8	-2,8	7,840
19	32	29,581	2,418	5,847
20	28	31,363	-3,363	11,314
		Суммы	1E-06	59,490
Дисперсии	40,872	34,923	5,949
R2	0,854		a	b
F	52,833		-4,27	1,78