8.2.Регресійний аналіз. Метод найменших квадратів

Сутність задачі регресійного аналізу полягає у знаходженні згладжувальної функції F(x), що якнайкраще описує набір даних

хi =	х1	х2	…	хn	,
уi =	y1	y2	…	yn

що отримано в результаті вимірювань.

Найпоширеніший критерій оптимальності розвязку згаданої задачі – середньоквадратичний - мінімальна сума квадратів відхилень між виміряними та апроксимованими значеннями:

.

(8.2)

Для згладжування результатів можна використовувати різні функції, але найбільш часто використовуються найпростіші: лінійна та квадратична У випадку, коли використовуються поліноміальні функції від х, їх можна записати у вигляді . Тоді Функція Ф невязки, що мінімізується при розвязанні задачі апроксимації, має вигляд:

(8.3)

З умови мінімізації нев’язок, тобто витікає система n рівнянь із n невідомими:

	(8.4)
; …,

яку необхідно розвязати відносно невідомих коефіцієнтів а, b, …

8.2.1.Лінійна регресія

Нехай функція згладжування буде лінійною і має вигляд F(x, а, b) = ax + b. Тоді частинні похідні: . Система рівнянь (8.4) при цьому може бути трансформована до вигляду:

.

(8.5)

Після множення першого рівняння на х_i та розкривши дужки, система прийме вигляд:

.

(8.6)

Розділивши на n і згрупувавши коефіцієнти при невідомих, що шукаються, можна отримати систему:

(8.7)

Після позначень система рівнянь (8.7) приймає вигляд:

.

Її розв’язання дозволяє визначити коефіцієнти

Задача 8.2. Методом найменших квадратів розрахувати коефіцієнти поліному для набору даних, заданих таблицею:

хi =	0	1	2	.
уi =	1	3	5

Розв’язок. Кількість змінних m=2, кількість експериментальних точок n =3.

Розширена система рівнянь для задачі має вигляд:

Якщо друге рівняння відняти від першого, то:

Таким чином, згладжувальна функція має вигляд Розрахунки похибки інтерполяції наведені в таблиці.

хi =	0	1	2	.
уi =	1	3	5
	1	3	5
	0	0	0

Згладжувальна функція точно (похибка дорівнює нулю) проходить через вузли інтерполяції – всі три точки лежать на одній прямій.

Задача 8.3. Методом найменших квадратів розрахувати коефіцієнти поліному для набору даних:

хi =	0	1	2	.
уi =	1	3	6

Розв’язок. Аналогічно попередньому кількість змінних m=2, кількість експериментальних точок n =3.

Розширена система рівнянь для задачі має вигляд:

Якщо друге рівняння відняти від першого, то:

Таким чином, згладжувальна функція має вигляд Розрахунки похибки інтерполяції наведені в таблиці.

Згладжувальна функція не проходить точно через задані точки, але задача розв’язана вірно - алгебраїчна сума похибок дорівнює нулю.