Согласно принципу метода наименьших квадратов, оценки
и
находятся путем минимизации суммы
квадратов
по всем возможным значениям
и
при
заданных (наблюдаемых) значениях
.
В результате применения МНК получаем формулы для вычисления параметров модели парной регрессии.
(3)
Такое решение может существовать только при выполнении условия
что равносильно отличию от нуля определителя системы нормальных уравнений. Действительно, этот определитель равен
Последнее условие называется условием идентифицируемости модели наблюдений
,
и означает, что не все значения
совпадают между собой. При нарушении
этого условиявсе
точки
,
лежат на одной вертикальной прямой
Оценки
и
называютоценками
наименьших квадратов.
Обратим внимание на полученное выражение
для параметра
.
В это выражение входят суммы квадратов,
участвовавшие ранее в определении
выборочной дисперсии
и выборочной ковариации
так что, в этих терминах параметр
можно получить следующим образом:
=
=
==
Уравнение множественной линейной регрессии в стандартизованном масштабе
Другой вид уравнения множественной регрессии - уравнение регрессии в стандартизованном масштабе:
,где
,
- стандартизованные переменные;
-
стандартизованные коэффициенты
регрессии.К уравнению множественной регрессии в стандартизованном масштабе применим МНК. Стандартизованные коэффициенты регрессии (β-коэффициенты) определяются из следующей системы уравнений:
Связь коэффициентов множественной регрессии
со стандартизованными коэффициентами
описывается соотношением
Параметр a определяется как
Средние коэффициенты эластичности для линейной регрессии рассчитываются по формуле:
.Для расчета частных коэффициентов эластичности применяется следующая формула:
.Тесноту совместного влияния факторов на результат оценивает индекс множественной корреляции:
=
.Значение индекса множественной корреляции лежит в пределах от 0 до 1 и должно быть больше или равно максимальному парному индексу корреляции:
.Индекс множественной корреляции для уравнения в стандартизованном масштабе можно записать в виде:
=
.При линейной зависимости коэффициент множественной корреляции можно определить через матрицу парных коэффициентов корреляции:
=
,Параметры уравнения множественной регрессии в задачах по эконометрике оценивают аналогично парной регрессии, методом наименьших квадратов (МНК). При применении этого метода строится система нормальных уравнений, решение которой и позволяет получать оценки параметров регрессии.
При определении параметров уравнения множественной регрессии на основе матрицы парных коэффициентов корреляции строим уравнение регрессии в стандартизованном масштабе:
в уравнении стандартизированные переменные
Применяя метод МНК к моделям множественной регрессии в стандартизованном масштабе, после опрделенных преобразований получим систему нормальных уравнений вида
Решая системы методом определителей, находим параметры — стандартизованные коэффициенты регрессии (бета - коэффициенты). Сравнивая коэффициенты друг с другом, можно ранжировать факторы по силе их воздействия на результат. В этом заключается основное достоинство стандартизованных коэффициентов в отличие от обычных коэффициентов регрессии, которые несравнимы между собой.
В парной зависимости стандартизованный коэффициент регрессии связан с соответствующим коэфициентом уравнения зависимостью
Это позволяет от уравнения в стандартизованном масштабе переходить к регрессионному уравнению в натуральном масштабе переменных:
Параметр а определяется из следующего уравнения
Стандартизованные коэффициенты регрессии показывают, на сколько сигм изменится в среднем результат, если соответствующий фактор xj изменится на одну сигму при неизменном среднем уровне других факторов. В силу того, что все переменные заданы как центрированные и нормированные, стандартизованные коэффициенты регрессии сравнимы между собой.
Рассмотренный смысл стандартизованных коэффициентов позволяет использовать их при отсеве факторов, исключая из модели факторы с наименьшим значением.
Компьютерные программы построения уравнения множественной регрессии позволяют получать либо только уравнение регрессии для исходных данных и уравнение регрессии в стандартизованном масштабе.
12. Понятие «статистическая значимость» параметров уравнения регрессии
13. Понятие «статистическая значимость» уравнения регрессии в целом
Два в одном
14. Критерий Стьюдента
15. Оценка значимости параметров уравнения парной линейной регрессии
16. Оценка значимости параметров уравнения множественной регрессии
17. Общий критерий Фишера
18. Таблица дисперсионного анализа
Оценка значимости уравнения регрессии обычно дается в виде таблицы дисперсионного анализа.
Дисперсионный анализ результатов регрессии
Источники
вариации
Число степеней
свободы
Сумма квадратов отклонений
Дисперсия на одну степень свободы
F - отношение
фактиче-
ское
таблич-
ное
Факторная
1
Остаточная
n– 2
F табл = F(α;1,n-2)
Общая
n– 1
ВеличинаF – критериясвязана с коэффициентом детерминации R2. ЗначениеF – критерияможно выразить следующим образом:
.Для расчёта коэффициента детерминации можно использовать формулу:
.Максимальное значение коэффициента R2равно единице. Это происходит в том случае, когда линия регрессии точно соответствует всем наблюдениям, так что
для
всехiи все остатки
равны нулю.Если в выборке отсутствует видимая связь между XиY, то коэффициент детерминации будет близок к нулю.
19. Показатели частной корреляции и детерминации
20. Частный f-критерий
Значимость уравнения множественной регрессии в целом оценивается с помощью F- критерия Фишера:
Частный F-критерий оценивает статистическую значимость присутствия каждого из факторов в уравнении. В общем виде для фактораxi частныйF-критерий определится как
Оценка значимости коэффициентов чистой регрессии с помощью t-критерия Съюдента сводится к вычислению значения
где mbi- средняя квадратическая ошибка коэффициента регрессииbi, она может быть определена по формуле:
.При построении уравнения множественной регрессии может возникнуть проблема мультиколлинеарности факторов, их тесной линейной связанности.
Считается, что две переменные явно коллинеарны, т.е. находятся между собой в линейной зависимости, если rxixj≥0,7. По величине парных коэффициентов корреляции обнаруживается лишь явная коллинеарность факторов. Наибольшие трудности в использовании аппарата множественной регрессии возникают при наличии мультиколлинеарности факторов. Чем сильнее мультиколлинеарность факторов, тем менее надежна оценка распределения суммы объясненной вариации по отдельным факторам с помощью метода наименьших квадратов.
21. Анализ случайных остатков в модели регрессии
22. Тест Парка
23. Тест Глейзера
24. Тест Уайта
25. Тест Гольдфельда-Квандта
26. Использование коэффициента ранговой корреляции Спирмена для выявления гетероскедастичности случайных остатков
27. Отбор факторов в модель множественной регрессии: требования к факторам; методы отбора.
28. Прогнозирование по уравнению регрессии (на примере парной линейной регрессии)
29. Прогнозирование по уравнению регрессии (общий случай)
30. Особенности нахождения параметров для нелинейных функций регрессии.
31. Применение МНК к одной из парных нелинейных регрессий (параболе, гиперболе, степенной, показательной)
32. Коэффициент эластичности для нелинейных функций
33. Показатели тесноты связи для нелинейных функций, линейных по параметрам
34. Показатели тесноты связи для нелинейных по параметрам функций регрессии
35. Прогнозирование по гиперболической регрессии
36. Прогнозирование по нелинейным по параметрам функциям регрессии (степенной, показательной)
37. Модели регрессии с фиктивными переменными
38. Критерии выбора наилучшего уравнения регрессии
39. Элементы временного ряда
40. Методы выявления тенденции во временном ряду
41. Автокорреляционная функция
42. Методы выбора формы уравнения тренда
43. Методики нахождения параметров линейного, параболического и показательного трендов и интерпретация их параметров
45. Способы выявления колеблемости во временном ряду.
46. Показатели колеблемости в ряду динамики
47. Анализ случайных остатков в модели тренда
48. Виды закономерных колебаний во временном ряду, методы их выявления
49. Аддитивная модель временного ряда
Если временной ряд представляется в виде суммы соответствующих компонент, то полученная модель носит название аддитивной. В общем виде она имеет вид: Y = T+S+E.
Эта модель предполагает, что каждый уровень временного ряда может быть представлен как сумма трендовой (T), сезонной (S) и случайной (E) компонент.
Выбор модели осуществляется на основе анализа структурных сезонных колебаний. Если амплитуда колебаний приблизительно постоянна, выбирают аддитивную модель, в которой значения сезонной компоненты предполагаются постоянными для различных циклов.
Построение модели сводится к расчету значений T, S и E для каждого уровня ряда.
Процесс построение модели включает в себя следующие шаги:
Выравнивание исходного ряда методом скользящей средней.
Расчет значений компоненты S.
Установление сезонной компоненты из исходных уровней ряда и получение выравненных данных (T+E).
Аналитическое выравнивание уровней (T+E) и расчет значений T с использованием полученного уравнения тренда.
Расчет полученных по модели значений (T+S).
Расчет абсолютных и/или относительных ошибок.