2.2.2. Метод найменших квадратів

Сутність даного методу полягає в тому, що є залежність f(x, a₀, a₁, ..., a_m), близька до заданої сукупності значень x_i , y_i у змісті мінімуму квадратичного відхилення

, (2.1)

де _i – відхилення апроксимуючої функції від експериментальних значень

_i= f (x_i, a₀, a₁, ..., a_m) – y_i, i=0, 1, 2, ..., n. (2.2)

Тоді задача полягає у виборі такої сукупності параметрів a₀, a₁, ..., a_m, при яких значення критерію (2.1) є мінімальним. При цьому завжди n>m, тому що у випадку n=m виходить задача інтерполяції, в якій значення критерію R може бути зведено до нуля. Необхідною умовою мінімуму критерію (2.1) є рівність нулю всіх частинних похідних функції R по a₀, a₁, ..., a_m, тобто

. (2.3)

Вирішуючи систему рівнянь (2.3), знаходимо значення a₀, a₁, ..., a_m коефіцієнтів шуканої залежності.

2.2.3. Лінійна регресія

Нехай шукана функція є лінійної відносно х, тобто у=а₀+а₁x. Тоді критерій (2.1) прийме вигляд:

(2.4)

Умови мінімуму цього критерію:

. (2.5)

Система рівнянь (2.5), одержуваних диференціюванням (2.4), прийме вигляд:

Або після перетворень

Звідки

(2.6)

Знайдені значення а₀ і а₁ підставляються в шукане рівняння у=а₀+а₁x.

2.2.4. Поліноміальна регресія

Якщо лінійна апроксимуюча функція дає в заданих точках значні відхилення, використовується наближення поліномами другого і вище ступенів вигляду

Так, для квадратних наближень (при m = 2) визначення параметрів a₀, a₁, a₂ за методом найменших квадратів зводиться до знаходження мінімуму критерію (2.1) як функції трьох змінних a₀, a₁, a₂:

.

Умови мінімуму квадратичного критерію мають вигляд:

або після перетворень:

(2.7)

Обчислення коефіцієнтів систем (2.7) зручно виконувати у вигляді табл. 2.1.

Таблиця 2.1

i	xi				yi	yi xi	yi
0	x0				y0	y0x0	y0
1	x1				y1	y1 x1	y1
n	xn				уn	yn xn	yn


Визначення параметрів нелінійних апроксимуючих функцій методом найменших квадратів пов'язане із трудомістким розв'язанням систем нелінійних рівнянь.

2.2.5. Приклад виконання апроксимації поліномами

Якщо є набір експериментальних точок з (n+1) точок, то порядок апроксимуючого полінома завжди повинен бути менший, ніж кількість цих точок (m<n). Зі зменшенням m емпірична залежність спрощується, але похибка апроксимації зростає. Завищення m приводить до невиправданого росту числа обчислювальних операцій.

При виборі ступеня полінома зручно користуватися таблицею скінченних різниць. Ступінь полінома можна брати рівним порядку скінченних різниць, що мало відрізняються. Лінійна апроксимація придатна тільки тоді, коли перші скінченні різниці мало відрізняються одна від одної.

Для перевірки відповідності рівняння регресії експериментальним даним обчислюють похибку апроксимації (2.2). Якщо відхилення за модулем не перевищують похибки вимірів функції, то можна вважати виведену формулу прийнятною. У противному випадку рекомендується змінити ступінь полінома або змінити вид шуканої формули.

Приклад 2.1. Функція задана таблично:

х	–3	–1	0	1	2	3	4
у	2,9	1,0	–0,2	–1,5	–0,4	0,5	2,0

Знайти багаточлени першого й другого ступеня, що апроксимують задану функцію.

Розв'язок. Обчислення коефіцієнтів (2.6) і (2.7) оформимо у вигляді табл. 2.2.

Таблиця 2.2

i	xi				yi	yi xi	yi
0	–3	9	–27	81	2,9	–8,7	26,1
1	–1	1	–1	1	1,0	–1,0	1
2	0	0	0	0	–0,2	0	0
3	1	1	1	1	–1,5	–1,5	–1,5
4	2	4	8	16	–0,4	–0,8	–1,6
5	3	9	27	81	0,5	1,5	4,5
6	4	16	64	256	2,0	8	32
	6	40	72	436	4,3	–2,5	60,5

Для знаходження коефіцієнтів a₀ і a₁ складається система

Звідки a₀ =0,766; a₁ = – 0,177.

Відповідь: апроксимуюча функція f₁(x, a₀, a₁) = 0,766 – 0,177x.

Для знаходження коефіцієнтів a₀, a₁, a₂ багаточлена другого ступеня одержимо за (2.7)

Звідки a₀ = – 0,458; a₁ = – 0,454; a₂ = 0,256.

Відповідь: апроксимуюча функція f₂(x, a₀, a₁, a₂) = – 0,458 – 0,454x + 0,256х².

П обудуємо отримані залежності (рис. 2.1) і позначимо задані точки.

Рис. 2.1

Обчислимо за (2.2) відхилення апроксимуючих залежностей. Оформимо обчислення у вигляді табл. 2.3.

Таблиця 2.3

xi	–3	–1	0	1	2	3	4
yi	2,9	1,0	–0,2	–1,5	–0,4	0,5	2,0
f1	1,297	0,943	0,766	0,589	0,412	0,235	0,058
1	–1,603	–0,057	0,966	2,089	0,812	–0,265	–1,942
f2	3,208	0,252	–0,458	–0,656	–0,342	0,484	1,822
2	0,308	–0,748	–0,258	0,844	0,058	–0,016	–0,178

Звідси .