3. Метод найменших квадратів
-
зведення до мінімуму помилок специфікації
форм зв’язку між змінними. Ці помилки
визначаються через відхилення емпіричних
даних
від значень регресії
,
тобто вони формують значення збуреної
змінної
.
(3)
Вимога:
(4)
- означає, що сума додатних відхилень повинна бути рівною сумі від’ємних.
Рис. 5. Пучок регресійних прямих (через координату ( хі; уі))
Вибіркова
дисперсія
– характеризує міру розсіювання
дослідних значень
довкола значень регресії, тобто дисперсію
залишківеі
(залишкову
дисперсію):
(5)
Ступень вільності v: v=n–m–1,
де n – обсяг вибірки; m – число параметрів регресії.
- для простої лінійної регресії існує тільки одна пояснювальна змінна (m=1), то число ступенів вільності буде: v=n–1–1 = n–2.
Врахування числа ступенів вільності дає можливість отримати незміщену оцінку дисперсії.
Корінь квадратний із виразу (5) є стандартною помилкою оцінки регресії.
Вимогу про те, що міра розсіювання дослідних точок від гіпотетичної лінії повинна бути мінімальною з врахуванням (5), можна представити таким чином:
(6)
- тобто сума квадратів відхилень емпіричних значень змінної у від значень, обчислених за рівнянням прямої, повинна бути мінімальною.
Рис.
6. Графічне представлення МНК
Метод, в основу якого покладена вимога мінімізації суми квадратів відхилень, називається методом найменших квадратів (МНК).
- знаходять такі оцінки параметрів рівняння регресії, які зводять до мінімуму вибрану міру розсіювання.
- вирівнюють емпіричні значення в одну лінію регресії.
- у випадку лінійного зв’язку між змінними ця лінія є прямою.
Т.ч., проблема визначення прямої регресії зводиться до мінімізації функції (6) – необхідною умовою цього є перетворення в «0» 1-их частинних похідних цієї функції по кожній змінній а та b. Оскільки
|
|
(7)
(8)
(9)
|
Значення a та b, обчислені за формулами (8) і (9), є оцінками параметрів α та β регресії, отриманої МНК. Маючи значення a та b, можна, користуючись (6), обрахувати значення регресії для заданої області значень пояснювальної змінної х.
|
Приклад. Побудувати економетричну модель впливу вартості основних виробничих фондів на обсяг отриманого прибутку деяким умовним підприємством регіону. Статистичні дані для розрахунку і необхідні величини для побудови системи нормальних рівнянь наведені в таблиці 1.
Таблиця 1
Розв’язання: Побудуємо діаграму розсіювання залежності обсягу прибутку (у) від вартості основних виробничих фондів підприємства (х).
|
|
припущення
про існування лінійної форми зв’язку
у вигляді функції:
Для знаходження параметрів а та b будуємо систему нормальних рівнянь:
За формулами (8) та (9) отримуємо:
Отже,
отримано регресійне рівняння
|
.
4. Передумови методу найменших квадратів
1. Математичне сподівання залишків дорівнює 0. M(e) = 0. (10)
2. Гомоскедастичність для випадкових величин ei.
(11)
3. Відсутність автокореляції між випадковими величинами e.
(12)
4. Незалежні змінні моделі утворюють лінійно незалежну систему векторів.
5. Пояснювальні змінні не повинні корелювати із збурюючою.
6.
Збурююча змінна розподілена нормально
з параметрами
.
- для знаходження оцінок параметрів моделі методом регресійного аналізу; - знайдені оцінки повинні володіти такими властивостями: незміщеності, обґрунтованості, ефективності та інваріантності.