- •Множественная регрессия.
- •Модель множественной регрессии
- •Тест – линейное ограничение на коэффициенты
- •Тест Чоу (Chow) – тест на структурные изменения
- •Различие между остатками регрессии и ошибками
- •Мультиколлинеарность
- •Фиктивные переменные
- •Гетероскедастичность
- •Тесты на гетероскедастичность
- •Автокорреляция остатков
- •Точечный прогноз
- •Статистика Дарбина-Уотсона (dw)
- •Причинность по Гренджеру
- •Модели с лагами
- •Геометрическая структура лага
- •Подбор параметра
- •Полиномиальная лаговая структура (Алмонд)
Множественная регрессия.
Множественная регрессия широко используется в решении проблем спроса, доходности акций, при изучении функции издержек производства, в макроэкономических расчетах. Основная цель множественной регрессии – построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также совокупное их воздействие на моделируемый показатель.
Построение уравнения множественной регрессии начинается со спецификации модели. Она включает в себя два круга вопросов: отбор факторов и выбор вида уравнения регрессии.
Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям:
-
Они должны быть количественно измеримы. Если необходимо включить в модель фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность (например, в модели стоимости объектов недвижимости учитывается место нахождения недвижимости: районы ранжируются).
-
Факторы не должны быть интеркоррелированы и тем более находиться в точной функциональной связи.
Включение в модель факторов с высокой интеркорреляцией может привести к тому, что система нормальных уравнений может оказаться плохо обусловленной и повлечь за собой неустойчивость и ненадежность оценок коэффициентов регрессии.
Модель множественной регрессии
Рассмотрим модель множественной регрессии в классических предположениях Гаусса-Маркова.
Пусть имеется k регрессоров - матрица размерности .
, .
.
Геометрическая теория та же. Отличие в коэффициенте .
Если добавить k+1 регрессор, то коэффициент детерминации увеличивается.
.
Поэтому чаще пользуются скорректированным коэффициентом детерминации
.
Подобных формул для корректировки коэффициента детерминации можно изобрести бесконечное множество. Например существуют следующие коэффициенты:
, (критерий Акаике)
. (критерий Шварца)
Если нет содержательных идей по выбору модели, то можно подойти формально.
Пример.
Модели соответствует коэффициент .
Для модели , коэффициент детерминации другой, так как отличается TSS.
Итак, из выше сказанного следует вывод, нельзя сравнивать модели с разными левыми частями.
Тест – линейное ограничение на коэффициенты
Рассмотрим стандартную модель множественной регрессии
.
И проверим нулевую гипотезу с линейными ограничениями на коэффициенты:
Это соответствует следующей записи в матричном виде:
,
H имеет размерность , где q – количество ограничений.
Составим
.
Здесь, R – restricted – модель с ограничениями, UR – unrestricted, модель без ограничений, т.е. ограничения не учтены в начальной регрессии.
Так в данном случае модель R будет иметь вид:
тогда статистика имеет распределение Фишера с соответствующими степенями свободы. При этом обычно выделяют область больших значений.
В силу близости регрессии с ограничениями и без ограничений получаются маленькие значения статистики.
Тест Чоу (Chow) – тест на структурные изменения
В качестве примера можно рассмотреть модель зависимости зарплаты от уровня образования и разделить в этой модели мужчин и женщин.
Допустим, выборка состоит из m+n наблюдений, причем m – мужчины, а n – женщины. Тогда регрессии будут иметь вид:
по всем наблюдениям, тогда остаток – ESS.
Аналогично можно провести регрессию по мужчинам и женщинам в отдельности:
,
.
Тогда этим регрессиям соответствуют остатки и .
Теперь попытаемся выяснить наличие дискриминации, необходимо проверить гипотезу о равенстве коэффициентов регрессий по мужчинам и женщинам.
.
Составим отношение:
.