19. Регрессионные модели

В экономике часто необходимо определить наилучшую формулу, связывающую одну переменную с некоторыми другими переменными. В этом случае обычно начинают с предположения, что существует линейная связь между «зависимой» и «независимой» переменными. Например, если yявляется зависимой переменной и х₁, х₂, …, х_n– независимые переменные, то соотношение вида

(22)

может быть использовано для выражения у через х_i. Коэффициенты_iпредполагаются постоянными, а зависимость (22) называют регрессионной модель. Наилучшие значения_iмогут быть подобраны исходя из исторических экспериментальных данных. Например, для предсказания того, как темпы развития инфляции меняются от уровня безработицы, можно было бы взять такую модель: когда уровень безработицы равен нулю, темпы инфляции составляютb₀процентов, а когда безработица составляет х процентов, то инфляция составляетb₀+b₁xпроцентов. Таким образом, заi-й промежуток времени

у_i = b₀+b₁x_i, i = 1,…, m. (23)

Имея исторические данные у_i, х_i, можно попытаться подобрать наилучшие значенияb₀иb_1. Существует несколько способов нахожденияb₀иb₁, но наиболее удобным является метод наименьших квадратов.

Понятие нормы матрицы дает нам возможность пересмотреть и обобщить понятие решения системы линейных уравнений. Напомним, что под классическим понятием решения матричного уравнения

АХ=В (24)

мы понимаем матрицу К, которая, после подстановки ее вместо Х, обращает уравнение в тождество. Однако для уравнения (24), согласно теореме Кронекера-Капелли, такой матрицы К может не существовать. Такая ситуация часто возникает в регрессионных моделях, где мы имеем ело с сильно переопределенными системами.

Используя понятие нормы, можно обойти указанную трудность, изменив само понятие «классическое решение». Буем понимать под обобщенным решением уравнения (24) матрицу V, которая доставляет минимальное значение норме невязки АХ – В, т.е.

.

Однако способы задания нормы могут привести к серьезным вычислительным трудностям при решении задачи (25). Наиболее просто проблема выглядит для 2-нормы. Критерий (25) получил название метода наименьших квадратов (МНК), если учесть, что

.

Покажем, что МНК – решение всегда существует и укажем способ его нахождения.

Представим матрицу

В = СВ+(Е - С)В,

где С = А(А^ТА)^-1А^Т, предположив, что матрица (А^ТА)^-1существует.

Проведем вычисления

.

Второе слагаемое равно нулю так как

А^Т(Е-С)=А^Т - А^ТА(А^ТА)^-1А^Т = А^Т - А^Т=0.

Отсюда

.

Выражение не зависит от Х, апринимает минимальное значение, равное нулю, при

Х = (А^ТА)^-1А^ТВ. (26)

Таким образом, мы установили, что МНК – решение существует и является единственным, если существует матрица (А^ТА)^-1.

Упражнения

1. Привести вид всех матриц в выражении (26) для определения b₀,b₁регрессионной модели (23).

2. Доказать cond(A^TA)  cond A.