- •2.1. Опис моделі
- •4.1. Вступ
- •5.1. Вступ
- •1.1.Опис Моделі
- •1.2. Знаходження оцінок параметрів регресії методом найменших квадратів
- •1.3.Властивості залишків методу найменших квадратів
- •1.4.Розклад дисперсії залежної змінної. Коефіціент детермінації
- •1.5.Статистичні власт ок методу найменших
- •1.6.Статистичні висновки в моделі простої лінійної регресії
- •1.6.1. Перевірка гіпотез про коефіцієнт нахилу регресії
- •1.6.2. Інтервальне оцінювання
- •1.6.3. Перевірка значущості регресії
- •1.7. Прогнозування за допомогою простої лінійної регресії
- •1.8.Приклад
- •2.1. Опис моделі
- •2.2. Знаходження параметрів регресії методом найменших квадратів
- •2.3.Властивості залишків методу найменших квадратів
- •2.4.Розклад дисперсії залежної змінної. Коефіцієнт детермінації
- •2.5. Статистичні властивості оцінок методу найменших квадратів
- •2.6. Статистичні висновки в моделі множинної лінійної регресії
- •2.6.1. Перевірка гіпотез про коефіціенти регресії.
- •2.6.2. Надійні інтервали для коефіціентів регресії
- •2.6.3. Перевірка значущості регресії
- •2.7. Інтерпретація регресійних коефіцієнтів. Порівняння факторів за ступeнем їх впливу
- •2.8.Моделі, які зводяться до моделі лінійної регресії
- •2.9. Фіктивні змінні.
- •2.10.Перевірка гіпотез про лінійні обмеження на параметри
- •2.11 Перевірка гіпотез про стійкість моделі
- •2.11.1. Критерій дисперсійного аналізу
- •2.11.2. Критерій Чоу
- •3.1. Вступ
- •3.3.Наслiдки гетероскедастичності збурень на оцiнки методу найменших квадратiв
- •3.4. Зважений метод найменших квадратiв у випадку відомої коваріаційної матриці збурень
- •3.5. Виявлення гетероскедастичності
- •3.5.1. Загальні критерії виявлення гетероскедастичності
- •3.5.2. Регресійні критерії виявлення гетероскедастичності
- •4.2. Опис моделi
- •4.3.Наслiдки автокорельованостi збурень на оцiнки методу найменших квадратiв
- •4.4. Узагальнений метод найменших квадратiв у випадку відомої кореляційної матриці
- •4.5. Процес авторегресiї першого порядку
- •4.6. Узагальнений метод найменших квадратiв у випадку ar(1)-збурень
- •4.7. Виявлення автокореляції. Статистика Дурбіна-Уотсона
- •4.8. Оцінювання у випадку невідомої кореляційної матриці збурень
- •5.1.Вступ
- •5.2. Класифікація рівнянь і змінних
- •5.3. Структурний і зведений вигляд систем симультативних рівнянь
- •5.4. Проблема ідентифікації
- •5.4.1. Ідентифікація через зведений вигляд
- •5.4.2. Порядкова та рангова умова ідентифікованості
- •5.5. Методи оцінювання систем симультативних рівнянь
- •5.5.1. Непрямий метод найменших квадратів
- •5.5.2 Двоетапний метод найменших квадратів
4.2. Опис моделi
Спочатку домовимось про термінологію. Як і в попередньому розділі літерою υ позначимо вектор збурень у вихідній моделі, а літеру ε зарезервуємо для позначення некорельованих і гомоскедастичних збурень.
Розглянемо модель лінійної регресії
yX=β+υ, (4.1)
в якій вектор збурень υ = (υ1, υ2. . . υn)T має такi властивостi:
1. Eυ=0
2. Рівність дисперсій: Dυi == σEυi22 = const,in=1,.
40
3. Корельованість: cov(,),υυijij≠≠0коли .
4. Незалежність збурень та регресорів: xij та υі незалежні для всіх i та j.
5. (Додаткове) Збурення υi нормально розподілені для всіх i.
Припущення 2 і 3 зручно записувати у матричному вигляді:
Dυ = σ2Σ, (4.2)
де σ2>0 – спільне значення дисперсії збурень, Σ – додатньо визначена недiагональна матриця, на головній діагоналі якої стоять одиниці, матриця Σ є кореляційною матрицею збурень.
Зауваження.
Останнім часом також вивчаються моделі, побудовані за так званими панельними даними, збурення в яких водночас гетероскедастичні і корельовані.
4.3.Наслiдки автокорельованостi збурень на оцiнки методу найменших квадратiв
1.Оцiнки МНК будуть незмiщеними, але не будуть ефективними (не матимуть найменшої дисперсiї).
2.Стандартнi оцiнки коварiацiйної матрицi оцiнки МНК будуть змiщеними, i, як наслiдок, процедури перевiрки гiпотез та iнтервального оцiнювання, основанi на стандартних статистиках, будуть некоректними.
4.4. Узагальнений метод найменших квадратiв у випадку відомої кореляційної матриці
Припустимо, що матриця Σ вiдома. Оскiльки вона додатньо визначена, то для неї iснує матриця Σ−121)
Введемо наступні позначення: Σ−=12yy*, Σ−=12XX*,
1) Запишемо діагональний розклад матриці Σ=UΛU-1, де Λ=diag(λii), i=1,n -діагональна матриця, на діагоналі якої стоять власні значення матриці Σ, а матриця U складається з власних векторів матриці Σ, записаних поспіль. Оскільки Σ додатньо визначена, то всі її власні значення додатні. Тоді Σ−12=UΛ−12U-1, де Λ−12=diag(λii−12). Нам потрібна наступна властивість цієї матриці: ΣΣΣ−−=1212I
41
Συε−=12.
Домножимо рiвнiсть (4.1) зліва на матрицюΣ−12.З урахуванням уведених позначень маємо:
yX**=β+ε. (4.3)
Зазначимо, що вектори коефiцiентiв β в моделях (4.1) i (4.3) спiвпадають. Знайдемо коварiацiйну матрицю збурень ε в моделi (4.3). Спочатку обчислимо математичне сподiвання: EEEε=ΣυΣυ=0−−=1212
Отже, DEETTε=εεΣυυΣ==−−1212 =ΣυυΣΣυΣΣΣΣ−−−−−−==12121212122122(EDT)σI =σ . (4.4)
Ми скористались тим, що()()Συ=υΣυΣ−−=121212TTTT −
, а також тим, що лінійний множник можна виносити за знак математичного сподівання. З (4.4) випливає, що модель (4.3) є моделлю класичної лiнiйної регресiї. Отже, оцiнки вектора параметрів регресії β, знайдені в моделi (3) методом найменших квадратів мають бажанi статистичнi властивостi, тобто задовольняють теоремі Гауса–Маркова і, що є для нас головним, цими оцінками можна користуватись для статистичних висновків.
Означення.
Оцiнкою узагальненого МНК коефiцiєнтiв моделi (4.1) називається оцінка звичайного МНК, знайдена за моделлю (4.3).
Зауваження.
Якщо матриця Σ є дiагональною, то узагальнений МНК в точностi спiвпадає зi зваженим МНК.
На практицi у бiльшостi випадкiв матриця Σ є невiдомою. Якщо не робити нiяких додаткових припущень щодо структури матрицi Σ, то її оцiнити неможливо, оскiльки при наявностi n спостеpежень ця матриця мiстить nn22− невiдомих параметрiв. Отже, потрібно робити певнi припущення щодо збурень –
42
розглядати моделi зi збуреннями спецiального вигляду. Найчастіше розглядаються моделі, зі збуреннями, пiдпорядкованими процесу авторегресiї першого порядку.