1. Оцінка параметрів лінійної регресії методом найменших квадратів

Існують різні методи знаходження оцінок параметрів . Розглянемо один із них: метод найменших квадратів.

Суть методу: оцінки парламентів знаходять так, щоб сума квадратів відхилень (помилок) між заданими значеннями змінної у і розрахунковими була найменшою. Похибка між заданими значеннями і розрахунковими має вигляд:

Функція квадрату похибок має вигляд:

Функція залежить від змінних параметрів , для знаходження її найменшого значення потрібно знайти критичні її точки. Для цього потрібно знайти частинні похідні, прирівняти їх до 0 і знайти розв’язок отриманої системи рівнянь (3).

Отримана система (3) є лінійною системою рівняння для знаходження оцінок параметрів (4)

Введемо позначення:

Система (4) в матричному вигляді:

(5)

Система (5) називається нормальною системою рівняння для рівняння лінійної регресії.

Матрицю називають матрицею спостереження. Вона завжди має симетричний вигляд.

Із рівняння (5) отримаємо оцінки параметрів лінійної регресії:

(6)

Зауваження: оцінки параметрів лінійної регресії методами найменших квадратів знаходять при умові, що випадкова складова економетричної моделі задовольняє певним умовам.

Оцінки параметрів моделі можна обчислити за наступними формулами (7):

– величина, яка показує залежність змінної у до х по відношенню до своїх середніх значень.

- визначає середній квадрат відношень значень змінної х по відношенню до своїх середніх значень.

Оцінки параметра можна обчислити за формулою:

(8)

Зауваження:

Для оцінки параметрів знайдені методом найменших квадратів, тоді сума всіх похибок (залишок відхилень) дорівнює 0.

Вибіркова регресійна пряма завжди проходить через середню точку ( , ).

З вибіркового регресійного рівняння: отримуємо значення рівне величині на яку збільшується залежна змінна у при збільшенні незалежної змінної х на 1.

Величина називається перетином, а – нахилом рівняння регресії.

2. Коефіцієнт кореляції та детермінації

Якщо побудована вибіркова регресійна модель, то виникають наступні задачі:

• Чи в дійсності існує лінійний зв'язок між змінними х та у.

• Наскільки отримана модель адекватна (відповідає) дійсній моделі.

• Наскільки точно знайдені оцінки параметрів моделі.

• Як можна здійснити прогноз за побудованої регресійною моделлю.

Кількісним критерієм, який оцінює тісноту зв’язку між х та у є вибірковий коефіцієнт кореляції, який обчислюється за формулою:

Значення коефіцієнта кореляції знаходиться в межах від .

Якщо , то вважають, що між змінними у та х існує прямий зв'язок, якщо , то зворотній (обернений зв'язок).

Якщо , тоді змінна х істотно не впливає на змінну у. В цьому випадку потрібно вибрати (знайти) іншу змінну, яка більш істотно впливає на змінну у.

Якщо , тоді вважають, що між х та у існує тісний зв'язок (залежність).

Для встановлення чинності зв’язку між змінними х і у та перевірки на адекватність (значимість) моделі парної регресії реального економічного процесу використовують вибірковий коефіцієнт детермінації, який обчислюється за формулою:

Якщо , то вважають, що побудована регресійна модель неадекватна дійсній моделі (дійсному процесу).

Якщо , то вважають, що отримана модель адекватна дійсній моделі, тобто є значимою.