13)Классическая модель множественной линейной регрессий

Для произвольного случайного вектора

E=(z)= (E(z), E(z),…E(z_n))’

и ковариационную матрицу

V (z) = E [(z-E(z))( z-E(z))'].

Как и для вектора, математическое ожидание матрицы - это матрица, элементами которой являются математические ожидания исходной матрицы. Поэтому ковариационная матрица

По диагонали ковариационной матрицы V(z) в (i,i) - и позиции записана дисперсия var(z_i) = cov(z_i ,z_i), а в (i, j) -й позиции записана ковариация cov(z_i z_j).

Отметим следующее свойство ковариационно матрицы. Если с - постоянный вектор размерности п, А -детерминированная квадратная матрица порядка п, то V(z + c) = y(z), V(Az) = AV(z)A'.

Для случайного вектора z запись z ~ (µ,V) будет означать, что математическое ожидание z равно вектору µ, а V - его ковариационная матрица.

Через I_n обозначим единичную матрицу порядка п, т.е. квадратную матрицу, которой элементы главной диагонали равны 1, а остальные элементы равны 0.

Сформулируем предположения классической модели множественной линейной регрессии

1. Объясняющие переменные x₁,x₂,…,x_k неслучайные, а ранг матрицы X равен k, k≤n, т.е. матрица X имеет полный ранг. Это значит, что элементы матрицы X детерминированные величины, а ее столбцы линейно независимы.

2. Вектор случайных членов ɛ ~ (0,σ² I_n). Следовательно, предполагается, что каждая компонента ɛ_i имеет нулевое математическое ожидание, дисперсию, равную σ², а ковариация разных ɛ_i и ɛ_j равна нулю.

2'. Если дополнительно предполагается, что компоненты вектора ɛ имеют нормальное распределение, то условие 2 заменяется на ɛ ~N(0, σ² I_n).

Теорема (Гаусса-Маркова). Если для модели множественной линейной регрессии у = Хβ + ɛ выполнены условия 1-2, то оценка вектора коэффициентов по методу наименьших

является эффективной среди всех несмещенных линейных оценок β.

Это утверждение устанавливает обоснованность использования метода наименьших квадратов для оценки коэффициентов линейной регрессии.

Отметим следующие свойства метода наименьших квадратов. Обозначим

Матрицы M,N идемпотентные, т.е. симметричные и квадрат матрицы равен самой этой матрице. Причем N -матрица оператора проектирования на подпространство, натянутое на столбцы матрицы X , а М - матрица оператора проектирования на подпространство, ортогональное столбцам матрицы X . В частности, NX = X , MX = О. Непосредственно проверяется, что

= Ny, е = My , е’е = ɛ'Мɛ .

Следом tr(A) квадратной матрицы А называется сумма ее диагональных элементов. Пользуясь тем, что след произведения матриц не меняется при их циклической перестановке, получим

Е(е’е) = E(tr(e'e)) = E(tr(ɛ'Мɛ)) = tr(E(Mɛ’ɛ) = tr(M E(ɛɛ’)) = tr(Mσ²I_n) = σ²tr(M) = σ²tr(I_n-X(X'X)^-1X’) =σ²[tr(I_n)-tr((X'X)^-1X’X)]= σ²[tr(I_n)- tr(I_k)] = σ²[n-k].

Значит, несмещенной оценкой σ² дисперсии ошибок σ² является величина

или иначе

14)Прогнозирование значений зависимой переменной для парной линейной регрессии.

Эконометрическая модель строится на основе имеющихся статистических данных. Важнейшая задача регрессионного анализа состоит в построении прогнозов зависимой переменной в зависимости для выбранных значений объясняющей переменной. Значение y₀ зависимой переменной при значении х₀ объясняющей переменной должно удовлетворять уравнению y₀₌α+βx₀+ε_o – где ε_o соответствующая реализация случайного члена. Допустим для модели парной линейной регрессии построено оцененное уравнение у=а+bx. Коэффициенты a, b предполагаются значимыми. Возможен прогноз двух типов.

Математическое ожидание значения зависимой переменной при х=х₀ равно Е ( уI х₀)= α+βx_0. Согласно теореме Гаусса- Маркова прогнозом т.е несмещенной оценкой этой величины служит ŷ₀= α+βx_0. Естественно возникает вопрос о точности этого прогноза. Возможны два подхода: первый- насколько прогнозное значение ŷ₀ может отклониться от условного математического ожидания Е ( уI х₀) и второй – насколько значение y₀ зависимой переменной может отклониться от ее прогнозного значения ŷ_0.

1. Доверительный интервал для ожидаемого значения зависимой переменной. Основой для построения доверительного интервала является отношение t= _[n-2] где оценка дисперсии прогнозного значения ŷ₀ зависимой переменной определяется выражением ( + ) ,

Для выбранного уровня значимости δ определяется критическое значение =t _δ/2,n-2 статистики Стьюдента с n-2 степенями свободы. Ответ на вопрос о точности прогноза дается в форме доверительного интервала ожидаемого значения зависимой переменной построенного с уровнем надежности 1- δ: где s стандартная ошибка случайного члена модели.

2. Доверительный интервал для индивидуального значения зависимой переменной. В этом случае распределение Стьюдента имеет величина t= _[n-2].

Построение доверительного интервала сводится к вычислению - оценки дисперсии var( ) = var( - ) отклонения значения y₀₌α+βx₀+ε_o зависимой переменной от ее прогнозного значения. Она равна = (1+ +

Точность прогноза индивидуального значения зависимой переменной определяется для уровня значимости δ интервалом. [ , ]

Здесь также s² оценка дисперсии случайного члена, а t_c- критическое значение распределения Стьюдента с n-2 степенями свободы.