Глава 7

Основная модель линейной регрессии

7.1. Различные формы уравнения регрессии

Основная модель линейной регрессии относится к классу простых регрессий, в левой части уравнения которых находится одна переменная: объясняемая, моде- лируемая, эндогенная, а в правой — несколько переменных: объясняющих, фак- торных, независимых, экзогенных. Объясняющие переменные называют также факторами, регрессорами.

Для объясняемой переменной сохраняется прежнее обозначение — x. А век- тор-строка размерности n объясняющих переменных будет теперь обозначаться через z, поскольку свойства этих переменных в основной модели регрессии суще- ственно отличаются от свойств объясняемой переменной. Через X и Z обозна- чаются, соответственно, вектор-столбец размерности N наблюдений за объясня- емой переменной и матрица размерности N × n наблюдений за объясняющими переменными. Обозначения параметров регрессии и остатков по наблюдениям со- храняются прежними (отличие в том, что теперь вектор-столбцы α и a имеют размерность n).

Уравнения регрессии в исходной форме имеют следующий вид:

X = Zα + 1_N β + ε, (7.1)

7.1. Различные формы уравнения регрессии	223
или в оценках X = Za + 1N b + e.	(7.2)

В сокращенной форме:

X^ˆ = Z^ˆα + ε, (7.3)

или

X^ˆ = Z^ˆa + e. (7.4)

Оператор МНК-оценивания ((6.11, 6.13) в п. 6.2) принимает теперь вид:

a = M ⁻¹m, b = x¯ − z¯a, (7.5)

_N ˆ ˆ

где M = ^1

Z^tZ — ковариационная матрица переменных z между собой,

_N ˆ ˆ

m = ^1

Z^tX — вектор ковариаций переменных z с переменной x. Первую часть

оператора (7.5) часто записывают в форме:

a = ^{ ˆ} Z^ˆ−1 Z^ˆ X. (7.6)

_Zt t _ˆ

МНК-оценки e обладают следующими свойствами ((6.6, 6.12) в предыдущей главе):

e¯ =

1

1

N

^t e = 0, cov (Z, e) =

N

¹ Z^ˆte = 0. (7.7)

N

Коэффициент детерминации рассчитывается следующим образом (см. (6.20)):

2

R² = ^sq = 1

_s2

^e , (7.8)

s

s

2 ⁻ 2

x x

x

где s²

• дисперсия объясняемой переменной, s² — остаточная дисперсия,

e

_s2 (6.2.6)

_q = a^tMa = a^tm = m^ta = m^tM ⁻¹m (7.9)

— объясненная дисперсия.

Уравнение регрессии часто записывают в форме со скрытым свободным членом:

X = Z^˜α^˜ + ε, (7.10)

X = Z^˜a^˜ + e, (7.11)

224 Глава 7. Основная модель линейной регрессии

   

α a

где Z^˜ = [Z 1_N ], α^˜ = ^

^, a^˜ = ^{ }.

   

β b

При таком представлении уравнения регрессии оператор МНК-оценивания записывается следующим, более компактным, чем (7.5), образом:

_N ˜^t ˜

˜ ˜

где M^˜ = ¹ Z Z , m^˜

_N ˜^t

= ¹ Z X , или

a = M^˜−1m, (7.12)

a^˜ =

^_Z˜^t_Z˜

^−1

Z^˜tX. (7.13)

M^˜ и m^˜

также, как M и m, являются матрицей и вектором вторых моментов,

но не центральных, а начальных. Кроме того, их размерность на единицу больше. Оператор (7.12) дает, естественно, такой же результат, что и оператор (7.5).

Этот факт доказывался в п. 4.2 для случая одной переменной в правой части урав-

нения.

В общем случае этот факт доказывается следующим образом. Учитывая, что

X = X^ˆ + 1_N x¯, (7.14)

.

Z^˜ =

Z^ˆ + 1_N z¯

.

_1N , (7.15)

можно установить, что



˜

M = ^



M + z¯^rz¯

z¯



m + z¯^rx¯

z¯^r

1







 ^{, (7.16)}

_{m =}  

^˜   ^,

x¯

и записать систему нормальных уравнений, решением которой является (7.12) в сле- дующей форме:



M + z¯^rz¯

z¯^r

  

a

 

m + z¯^rx¯

  

 ₌  



z¯ 1

     ^.

b x¯

7.1. Различные формы уравнения регрессии 225

Вторая (нижняя) часть этой матричной системы уравнений эквивалентна второй части оператора (7.5). После подстановки b, выраженного через a, в первую (верх- нюю) часть данной матричной системы уравнений она приобретает следующий вид:

Ma + z¯^rz¯a + z¯^rx¯ − z¯^rz¯a = m + z¯^rx¯,

и после приведения подобных становится очевидной ее эквивалентность первой ча- сти оператора (7.5).

Что и требовалось доказать.

Кроме того, можно доказать, что



˜

_M −1 ₌ ^



_M −1 _−M −1_z¯t

−z¯M ⁻¹ 1 + z¯M ⁻¹z¯^t





 ^{. (7.17)}

Этот факт потребуется ниже. (Правило обращения блочных матриц см. в Прило- жении A.1.2.)

Справедливость этого утверждения проверяется умножением M^˜−1 из (7.17) на M^˜ из (7.16). В результате получается единичная матрица.

МНК-оценки вектора e ортогональны столбцам матрицы Z^˜:

Z^˜te = 0. (7.18)

Доказательство наличия этого свойства получается как побочный результат при вы- воде оператора оценивания (7.12) путем приравнивания нулю производных оста- точной дисперсии по параметрам регрессии, как это делалось в п. 6.2.

что

Поскольку последним столбцом матрицы Z^˜

является 1_N , из (7.18) следует,

₁t

_N e = 0, (7.19)

т.е. e¯ = 0. Из остальной части (7.18):

Z^te = 0, (7.20)

что в данном случае означает, что cov(Z, e) = 0.

Действительно, раскрывая (7.20):

Z^re

(7.15)

=

Z^ˆre + z¯^r1^r

e = Z^ˆre = 0.

N

←−₌−₀→

226 Глава 7. Основная модель линейной регрессии

Таким образом, (7.18) эквивалентно (7.7).

Однако уравнения (7.10) допускают и иную интерпретацию. Если последним

в Z^˜

является не 1_N , а столбец «обычной» переменной, то это — регрессия без

свободного члена. В таком случае из (7.18) не следует (7.19), и свойства (7.7) не вы- полняются. Кроме того, для такой регрессии, очевидно, не возможна сокращенная запись уравнения. Этот случай в дальнейшем не рассматривается.

В дальнейшем будет применяться в основном форма записи уравнения со скры- тым свободным членом, но чтобы не загромождать изложение материала, символ

«∼» будет опускаться, т.е. соотношения (7.10, 7.11, 7.12, 7.13, 7.18) будут исполь- зоваться в форме

X = Zα + ε,	(7.21)
X = Za + e,	(7.22)
a = M −1m,	(7.23)
a = .ZtZ.−1 ZtX,	(7.24)
Zte = 0.	(7.25)

Случаи, когда a, Z , m, M означают не a^˜, Z^˜, m^˜ , M^˜, а собственно a, Z , m, M , будут оговариваться специально.