4.9. Ковариационная матрица и ее выборочная оценка

Вариации оценок параметров будут, в конечном счете, опре­делять точность уравнения множественной регрессии. Для их измерения в многомерном регрессионном анализе рассматрива­ют так называемую ковариационную матрицу К, являющуюся матричным аналогом дисперсии одной переменной:

.

где элементы ковариации (или корреляционные моменты) оце­нок параметров и. Ковариация двух пере­менных определяется как математическое ожидание произведения отклонений этих переменных от их математических ожиданий [Ссылка]. Поэтому

, (13.28)

где иматематические ожидания соответственно для параметров и .

Ковариация характеризует как степень рассеяния значений двух переменных относительно их математических ожиданий, так и взаимосвязь этих переменных.

В силу того, что оценки , полученные методом наименьших квадратов, являются несмещенными оценками параметров, т.е. , выражение(13.28) примет вид:

.

Рассматривая ковариационную матрицу К, легко заметить, что на ее главной диагонали находятся дисперсии опенок пара­метров регрессии, ибо

. (13.29)

В сокращенном виде ковариационная матрица К имеет вид:

. (13.30)

Учитывая (13.28) мы можем записать

.

Тогда выражение (12.30) примет вид:

, (13.31)

ибо элементы матрицы X —неслучайные величины.

Матрица представляет собой ковариационную матри­цу вектора возмущений :

в которой все элементы, не лежащие на главной диагонали, равны нулю в силу предпосылки 4 о некоррелированности воз­мущений , и между собой, а все элементы, ле­жащие на главной диагонали, в силу предпосылок 2 и 3 регрес­сионного анализа равны одной и той же дисперсии :

.

Поэтому матрица , где единичная матрица го

порядка. Следовательно, в силу (13.31) ковариационная матрица вектора оценок параметров:

Так как и , то окончательно получим:

(13.32)

Таким образом, с помощью обратной матрицынормальных уравнении регрессии определяется не только сам вектор оценок параметров (13.28), но и дисперсии и ковариации его компонент.

Входящая в (13.32) дисперсия возмущений неизвестна. За­менив ее выборочной остаточной дисперсией

(13.33)

по (13.32) получаем выборочную оценку ковариационной мат­рицы К. (В знаменателе выражения (13.33) стоит , а не , как это было выше в (13.6). Это связано с тем, что теперь степеней свободы (а не две) теряются при определении не­известных параметров, число которых вместе со свободным чле­номравно.

4.10. Определение доверительных интервалов для коэффициентов и функции множественной регрессии

Перейдем теперь к оценке значимости коэффициентов рег­рессии и построению доверительного интервала для парамет­ров регрессионной модели .

В силу (13.29), (13.32) и изложенного выше оценка диспер­сии коэффициента регрессии определится по формуле:

где несмещенная оценка параметра ;

диагональный элемент матрицы .

Среднее квадратическое отклонение (стандартная ошибка) коэффициента регрессии примет вид:

. (13.34)

Значимость коэффициента регрессии можно проверить, если учесть, что статистика имеетраспределение Стьюдента с

степенями свободы. Поэтому значимо отли­чается от нуля на уровне значимости , еслисоответствующийныйдове­рительный интервал для параметра есть

. (13.35)

Наряду с интервальным оцениванием коэффициентов рег­рессии по (13.35) весьма важным для оценки точности опреде­ления зависимой переменной (прогноза) является построение доверительного интервала для функции регрессии или для условно­го математического ожидания зависимой переменной , найден­ного в предположении, что объясняющие переменные приняли значения, задаваемые вектором

.Выше такой интервал получен для уравнения парной регрессии (см. (13.13) и (13.12)). Обобщая соответствующие выражения на случай множественной регрессии, можно получить доверитель­ный интервал для :

где групповая средняя, определяемая по уравнению рег­рессии,

(13.36)

— ее стандартная ошибка.

При обобщении формул (13.15) и (13.14) аналогичный дове­рительный интервал для индивидуальных значений зависимой пе­ременной примет вид:

(13.37)

где

. (13.38)

Доверительный интервал для дисперсии возмущений в мно­жественной регрессии с надежностью строится анало­гично парной модели по формуле(13.20) с соответствующим изменением числа степеней свободы критерия :

(13.39)

Пример 13.6. По данным примера 13.4 оценить сменную добычу угля на одного рабочего для шахт с мощностью пласта 8 м и уровнем механизации работ 6%; найти 95%-ные доверитель­ные интервалы для индивидуального и среднего значений смен­ной добычи угля на 1 рабочего для таких же шахт. Проверить значимость коэффициентов регрессии и построить для них 95%-ные доверительные интервалы. Найти с надежностью 0,95 ин­тервальную оценку для дисперсии возмущений .

Решение. В примере 13.4 уравнение регрессии получено в виде:

. По условию надо оценить , где . Выборочной оценкой, является групповая средняя, которую найдем по уравнению регрессии: . Для построения до­верительного интервала для М (у) необходимо знать дисперсию его оценки. Для ее вычисления обратимся к табл. 13.7 (точнее к ее двум последним столбцам, при составлении кото­рых учтено, что групповые средние определяются по получен­ному уравнению регрессии).

Теперь по (13.37): и (т).

Определяем стандартную ошибку групповой средней г> по формуле (13.41). Вначале найдем

Теперь (т).

По табл. IV приложений при числе степеней свободы находим . По (13.40) доверительный интервал для , равен или(т).

Итак, с надежностью 0,95 средняя сменная добыча угля на одного рабочего для шахт с мощностью пласта 8 м и уровнем механизации работ 6% находится в пределах от 4,52 до 6,46 т.

Сравнивая новый доверительный интервал для функции рег­рессии , полученный с учетом двух объясняющих пере­менных, с аналогичным интервалом с учетом одной объясняю­щей переменной (см. пример 13.1), можно заметить уменьшение его величины. Это связано с тем, что включение в модель новой объясняющей переменной позволяет несколько повысить точ­ность модели за счет увеличения взаимосвязи зависимой и объ­ясняющей переменных (см. ниже).

Найдем доверительный интервал для индивидуального зна­чения при

по (13.43): (т) и по (13.42): , т. е. (т).

Итак, с надежностью 0,95 индивидуальное значение сменной добычи угля в шахтах с мощностью пласта 8 м и уровнем меха­низации работ 6% находится в пределах от 3,05 до 7,93 (т).

Проверим значимость коэффициентов регрессии и . В примере 13.4 получены и . Стандартная ошибка в соответствии с (13.38) равна: . Так как , то коэффициент значим. Аналогично вычисляем ит.е. коэффициент незначим на 5%-ном уровне.

Доверительный интервал имеет смысл построить только для значимого коэффициента регрессии : по (13.39) или .

Итак, с надежностью 0,95 за счет изменения на 1 м мощности пласта (при неизменном ) сменная добыча угля на одного рабочего У будет изменяться в пределах от 0,332 до 1,376 т.

Найдем 95%-ный доверительный интервал для параметра ст². Учитывая, что ,,найдем по табл. V приложений при степенях свободы;и по формуле(13.43')

Таким образом, с надежностью 0,95 дисперсия возмущений заключена в пределах от 0,565 до 5,35, а их стандартное откло­нение — от 0,751 до 2,31 (т).

Формально переменные, имеющие незначимые коэффици­енты регрессии, могут быть исключены из рассмотрения. В эко­номических исследованиях исключению переменных из регрес­сии должен предшествовать тщательный качественный анализ. Поэтому может оказаться целесообразным все же оставить в регрессионной модели одну или несколько объясняющих пере­менных, не оказывающих существенного (значимого) влияния на зависимую переменную.