8. Основные предпосылки регрессионного анализа.

Чтобы регрессионный анализ давал наилучшие из всех вариантов МНК-оценки, регрессионные остатки  должны удовлетворять условиям Гаусса-Маркова:

1. Зависимая переменная y_i есть величина случайная, а объясняющая переменная x_i – величина неслучайная.

2. Математическое ожидание М(_i)=0 для всех наблюдений.

3. Дисперсия случайных отклонений постоянная: Д(_i)=Д(_j)=² для всех наблюдений i и j. Выполнимость данной предпосылки называется гомоскедастичностью, нарушение данного условия – гетероскедастичность.

4. Случайные отклонения являются независимыми друг для друга. Возмущения _i и _j (или переменные y_i и y_j) не коррелированны.

cov (_i;_j)=0, если ij

², если i=j

Выполнение данного условия говорит об отсутствии автокорреляции.

5. Случайное отклонение должно быть независимо от объясняющих переменных cov (_i;x_i)=0

Модель является линейной относительно параметров, следовательно, МНК применим для линейной модели. Если регрессионные остатки не удовлетворяют некоторым предпосылкам, то следует корректировать модель.

9. Теорема Гаусса-Маркова.

Если предпосылки регрессионного анализа выполняются, то МНК-оценки обладают следующими свойствами:

1. несмещенность оценок регрессии М(b)=, М(а)=

2. состоятельность МНК-оценок – при увеличении объема выборки (n) Д(b)0, Д(а)0b, a

3. эффективность МНК-оценок, то есть наименьшая дисперсия оценок по сравнению с любыми другими оценками данных параметров: Д_bmin, Д_аmin

Наряду с предпосылками имеются еще и несколько предположений, соблюдаемых при построении модели регрессии:

1. случайное отклонение  имеет нормальное распределение

2. число наблюдений n в 5-6 раз больше объясняющих переменных х

3. отсутствуют ошибки спецификации

4. отсутствует совершенная мультиколлинеарность

10. Доверительный интервал для параметров регрессионной модели.

Доверительный интервал – числовой интервал, который с заданной вероятностью  накрывает неизвестное значение параметра . Для определения доверительного интервала, в котором с вероятностью у и уровнем значимости =1-у находится истинное значение коэффициента регрессии, определяют критическое значение статистики Стьюдента t_{крит(табл)}, удовлетворяющее условию Р(t t_крит)=1-. Для парной регрессии n-m-1=n-1-1=n-2.

Доверительный интервал находится по формуле:

b-t_таблm_bb+t_таблm_b

a-t_таблm_aa+t_таблm_a

Доверительный интервал для М_x(Y):

ŷ-t_1-;kS_ŷМ_x(Y)ŷ+t_1-;kS_ŷ

Доверительный интервал для индивидуального значения y₀^*:

ŷ₀-t_1-;kS_ŷ0y₀^*ŷ₀+t_1-;kS_ŷ0

Доверительный интервал для коэффициента регрессии:

b_j-t_1-;kS_bj_ib_j+t_1-;kS_bj

Доверительный интервал для параметра ²:

ns²/²_/2;n-m-1² ns²/²_{1-/2;n-m-1}

11. Оценка значимости параметров и уравнения регрессии. Критерии Фишера и Стьюдента.

Нахождение оценок значимости по формулам называется статистическим оцениванием. Его цель – получить наиболее точные значения оценивающих характеристик. Оценки бывают 2 видов:

• точечная () – численное значение этого параметра, полученное по выборке объемом n;

• интервальная – числовой интервал, который с заданной вероятностью  накрывает неизвестное значение параметра .

Свойства точечных оценок:

1. несмещенность – математическое ожидание оценки равно истинному значению в генеральной совокупности: М(^*)=. Истинное значение генеральной совокупности равно М(Х)=. Смещение оценки равно разнице между ее математическим ожиданием и истинным значением в генеральной совокупности.

2. эффективность – оценка имеет минимальную дисперсию среди всех несмещенных оценок, полученных по одному и тому же набору наблюдений: Д(^*)=Д_min. Оценка называется эффективной, если с увеличением объема выборки дисперсия оценки стремится к 0: Д()0 при n0. Несмещенность и эффективность могут друг другу противоречить.

3. состоятельность – оценка, которая дает точное значение параметра при большой выборке вне зависимости от конкретных значений, входящий в выборку наблюдений при n0 P(^*-)1 (при увеличении объема выборки вероятность того, что мы будем иметь малое отклонение от истины будет стремиться к 1).

Общее качество уравнения регрессии оценивается тем, насколько хорошо уравнение согласовано с фактическими наблюдениями. Мерой соответствия уравнения регрессии фактическим наблюдениям является коэффициент детерминации: 0R²1. R²=r²_xy – в случае парной регрессии коэффициент детерминации является квадратом парной линейной корреляции. R² показывает долю факторной дисперсии зависимой переменной у, объясняемую уравнением регрессии, в общей дисперсии результативного признака.

R²=(ŷ_x-y)²/(y_i-y)²

Для проверки статистической гипотезы о значимости R² и уравнения в целом применяют критерий Фишера. Для этого сначала формулируем гипотезу: H₀: Д_регр=Д_ост – уравнение незначимо

H₁: Д_регрД_ост

Для проверки гипотезы используем случайную величину, распределенную по закону Фишера. Рассчитывается ее наблюдаемое значение:

F_набл=((ŷ_x-y)²/m)/((y_i-ŷ_х)²/(n-m-1))

Проверка качества уравнения регрессии и значимости параметров уравнения: F_набл F_{крит(табл); (, m, n-m-1)}

Критерий Фишера можно определить, используя коэффициент детерминации:

F_набл= R²/(1- R²) * (n-m-1)/m

Для проверки статистической значимости коэффициентов регрессии и свободного коэффициента а применяется случайная величина, распределенная по закону Стьюдента: H₀: b=0 – коэффициент незначим

H₁: b0

Расчетный (наблюдаемый) критерий Стьюдента: t_набл=b/m_b, где m_b – величина случайной ошибки

m_b=(y_i-ŷ_x)²/(n-m-1)/(x_i-x)

Если t_набл t_{крит(табл)}, то Н₀ отклоняется, делается вывод о значимости коэффициента регрессии.

H₀: а=0

H₁: а0

t_а=а/m_а

m_а=(y_i-ŷ_x)²/(n-m-1) * x_i²/n(x-x)²

Если t_набл t_{крит(табл)}, то Н₀ отклоняется, делается вывод о значимости свободного члена регрессии.