- •1. Описательная статистика
- •1.1. Ряды наблюдений и их характеристики
- •1.2. Эмпирические распределения случайной величины
- •1.3. Теоретические функции распределения случайной величины
- •1.4. Функции распределения, используемые в эконометрии
- •Теоретические вопросы и задания
- •2. Случайные ошибки измерения
- •2.1. Первичные измерения
- •2.2. Производные измерения
- •Теоретические вопросы и задания
- •3. Алгебра линейной регрессии
- •3.1. Обозначения и определения
- •3.2. Простая регрессия
- •3.3. Ортогональная регрессия
- •3.4. Многообразие оценок регрессии
- •Теоретические вопросы и задания
- •4. Основная модель линейной регрессии
- •4.1. Различные формы уравнения регрессии
- •4.2. Основные гипотезы, свойства оценок
- •4.3. Независимые факторы
- •4.4. Прогнозирование
- •Теоретические вопросы и задания
- •5. Гетероскедастичность и автокорреляция ошибок
- •5.2. Гетероскедастичность ошибок
- •5.3. Автокорреляция ошибок
- •Теоретические вопросы и задания
- •6. Ошибки измерения факторов и фиктивные переменные
- •6.1. Ошибки измерения факторов
- •6.2. Фиктивные переменные
- •6.3. Дисперсионный анализ
- •Теоретические вопросы и задания
- •7. Оценка параметров систем уравнений
- •7.1. Невзаимозависимые системы
- •7.2. Взаимозависимые или одновременные уравнения. Проблема идентификации.
- •7.3. Оценка параметров отдельного уравнения
- •7.4. Оценка параметров всех (идентифицированных) уравнений
- •Теоретические вопросы и задания
6. Ошибки измерения факторов и фиктивные переменные
6.1. Ошибки измерения факторов
Пусть теперь нарушается гипотеза 2, и независимые факторы наблюдаются с ошибками (здесь используются обозначения первых двух форм уравнения регрессии):
z = z0 + ε , или в разрезе наблюдений: Z = Z0 + ε ,
где z0 и ε - n-вектора-строки истинных значений факторов и ошибок их измерений;
Z0 и ε - соответствующие N× n-матрицы значений этих величин по
наблюдениям.
Предполагается, что истинные значения и ошибки независимы друг от друга (по крайней мере, не скоррелированы друг с другом) и известны их матрицы ковариации (одинаковые для всех наблюдений):
E(z0/,ε ) = 0, E(z0/,z0) = M0, E(ε /ε ) = Ω .
Уравнение регрессии можно записать в следующей форме:
|
|
X = |
Zα ++ ε − ε α , |
(т.е. остатки теперь не могут быть независимыми от факторов-регрессоров) и в рамках сделанных предположений доказать, что
E(M) = M0 + Ω , E(a) = (M0 + Ω )-1M0α ,
т.е. МНК-оценки теряют в такой ситуации даже свойство несмещенности. Как правило, они преуменьшены по сравнению с истинными значениями (в случае n = 1,
|
σ |
2 |
0 |
|
E(a) = |
|
z |
|
α ). |
σ 2z0 |
+ σσ 2ε |
Существуют три подхода к оценке параметров регрессии в случае наличия ошибок измерения независимых факторов.
а) Простая регрессия. Если имеется оценка W ковариационной матрицы
ошибок Ω и ошибки регрессоров взаимно независимы с изучаемой переменной, то
можно использовать следующий оператор оценивания:
a = (M-W)-1m,
который обеспечивает несмещенность оценок.
б) Инструментальные переменные. Если имеется n факторов y, которые взаимно независимы как с ошибками уравнения ε , так и ошибками основных
факторов ε , то оценка
a = (Y/ Z)− 1 (Y/ X)
несмещена.
Исторически первой в этом классе получена оценка Вальда для случая n = 1. Для получения этой оценки i-я компонента вектора-столбца Y принимается равной единице, если zi больше своей медианы, и минус единице, если - меньше медианы
(при нечетном N среднее значение теряется). В результате получается, что
a = x2 − x1 z2 − z1
где x2 , z2 - средние значения переменных по верхней части выборки, x1 , z1 - их средние значения по нижней части выборки.
Такая оценка более эффективна, если исключить примерно треть “средних” наблюдений.
Позже эта оценка была обобщена: матрицу значений инструментальных переменных было предложено формировать столбцами рангов по наблюдениям
соответствующих переменных z.
в) Ортогональная регрессия. Если ошибки факторов не зависят друг от друга и от ошибок в уравнениях (которые в этом случае интерпетируются как ошибки изучаемой переменной), их дисперсии одинаковы и равны дисперсии ошибки изучаемой переменной, а между истинными значениями переменных имеется линейная зависимость, то можно использовать ортогональную регрессию. Возвращаясь к обозначениям 3-го раздела,
Xα = ε и
(M − λ In)a = 0, a/a = 1.
В этом случае матрица ковариации ошибкок переменных имеет вид
Если матрица ковариации ошибок есть σ 2Ω
1:
σ 2In.
-
(M − λΩ )a== 0, a/Ω a== 1.
Для доказательства проводится преобразование в пространстве переменных с помощью матрицы C, такой, что Ω = = C− 1/C−− 1 , после которого матрица
ковариации ошибок переменных приобретает вид σ 2In, и становится возможным применить обычную ортогональную регрессию.
Ортогональная регрессия при принятых гипотезах приводит к состоятельным оценкам параметров.
6.2.Фиктивные переменные
Спомощью фиктивных или псевдопеременных, принимающих дискретные, обычно, целые значения, в регрессию включают качественные факторы.
Уточнение обозначений:
Z - N× n-матрица наблюдений за “обычными” независимыми факторами; α - n-вектор-столбец параметров регрессии при этих факторах;
Z0 = 1N ;
β 0 = β .
В этих обозначениях уравнение регрессии записывается следующим образом:
X = Zα ++ Zβ0β 0++ ε .
Пусть имеется один качественный фактор, принимающий два значения (например: “мужчина” и “женщина”, если речь идет о модели некоторой характеристики отдельных людей, или “годы войны” и “годы мира” - в модели, построенной на временных рядах наблюдений, которые охватывают периоды войны и мира, и т.д.). Ставится вопрос о том, влияет ли этот фактор на значение свободного
члена регрессии. |
|
||
~ F |
= |
F |
|
Z |
{zij}−− N × 2-матрица наблюдений за качественным фактором (матрица |
||
фиктивных |
переменных): |
zFi1 равен единице, если фактор в i-м наблюдении |
|
принимает 1-е значение, |
и нулю в противном случае; zFi2 равен единице, если |
фактор в i-м наблюдении принимает 2-е значение, и нулю в противном случае.
~ |
|
β 1 |
|
- 2-х компонентный вектор-столбец параметров при фиктивных |
|
β = |
|
β |
|
|
|
|
|
2 |
|
|
переменных.
Исходная форма регрессии с фиктивными переменными: |
|||||
X = Zα ++ |
0 |
0 |
++ |
~ F~ |
|
Zββ |
|
Z ββ ++ ε . |
|
||
Поскольку сумма |
столбцов |
~ F |
0 |
||
матрицы Z |
равна Z , оценка параметоров |
непосредственно по этому уравнению невозможна.
Проводится преобразование фиктивных переменных одним из двух спасобов. а) В исходной форме регрессии исключается один из столбцов матрицы
фиктивных переменных, в данном случае - первый.
Z F - матрица фиктивных переменных без первого столбца;
|
|
|
1 |
1 0 |
|
С = |
|||||
= |
0 |
. |
|||
|
|
|
− 1 1 |
Тогда эквивалентная исходной запись уравнения имеет вид:
X = |
Zα ++ |
[Z0 |
|
|
|
|
β |
0 |
|
+ ε , |
|
|
|
|
|||||||
, Z F ]C ~ |
|
|||||||||
|
|
|
|
|
|
|
β |
|
|
|
и после умножения матрицы Ссправа на вектор параметров получается запись уравнения регресии в которой отсутствует линейная зависимость между факторамирегрессорами:
|
|
X = Zα ++ |
0 |
|
0 |
++ |
|
|
F |
|
|
ε , |
|
|
|
|
|
||||||||||
|
|
|
|
|
|||||||||
|
|
Zββ |
|
|
Z ββ ++ |
||||||||
где |
|
0 = ββ 0++ ββ 1 ,β |
|
== ββ |
2−− ββ |
|
|
|
|
|
|||
β |
β |
1 . |
|
|
|
|
После оценки этих параметров можно определить значения исходных параметров β 0 и ~β , предполагая, что сумма параметров при фиктивных переменных (в данном случае β 1 + β 2) равна нулю, т.е. влияние качественного фактора приводит
кколебаниям вокруг общего уровня свободного члена:
β2 = ββ 2,ββ 1== −−ββ 2 ,ββ 0== ββ 0++ ββ 2 .
б) Предполагая, что сумма параметров при фиктивных переменных равна нулю, в исходной форме регрессии исключается один из этих параметров, в данном случае - первый.
β - вектор-стобец параметров при фиктивных переменных без первого
элемента; |
|
− 1 |
|
|
|
|
|
|
|
C = |
|
|
|
|
|
|
|
||
|
. |
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
Эквивалентная исходной запись уравнения принимает форму: |
|||||||||
|
|
X = |
Zα ++ |
0 |
0 |
++ |
~ F |
Cββ ++ |
ε , |
|
|
Zββ |
|
Z |
и после умножения матрицы C слева на матрицу наблюдений за фиктивными переменными получается запись уравнения регрессии, в которой также отсутствует линейная зависимость между регрессорами:
X = Zα ++ Zβ0β 0++ ZFββ ++ ε .
После оценки параметров этого уравнения недостающаяся оценка параметра
β 1 определяется из условия β 1 = −ββ 2.
Качественный фактор может принимать больше двух значений. Так, в классической модели выделения сезонных колебаний он принимает 4 значения в
случае поквартальных наблюдений и 12 значений, если наблюдения проводились по |
|||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
~ F |
|
в этой модели имеет размерность, |
соответственно, N× 4 или |
||||||||||||||||||||||||||||||||||||||
месяцам. Матрица Z |
|
||||||||||||||||||||||||||||||||||||||||||||||||
N× 12. |
Пусть в общем случае качественный фактор принимает k значений. Тогда: |
||||||||||||||||||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||||||||||||||||||
|
матрица |
~ F |
имеет |
размерность N× k, вектор-столбец |
~ |
|
размерность k, |
||||||||||||||||||||||||||||||||||||||||||
|
Z |
|
β |
- |
|||||||||||||||||||||||||||||||||||||||||||||
|
|
F и ZF - N× |
(k− 1), вектора-столбцы |
|
|
и β |
- k− 1; |
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||
матрицы |
Z |
β |
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
1 |
|
|
0 |
|
|
|
|
|
|
|
k× (k− 1) |
|
||||||||
|
k× (k+1) |
|
|
матрица |
|
|
|
|
|
C = |
|
|
|
|
|
|
|
|
|
, |
|
|
матрица |
||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
0 |
|
|
− 1k− 1 |
Ik−− |
|
|
|
|
|
|
||||||||||||||||||||||||||||||
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
− |
1/k− |
|
|
|
~ |
|
|
|
|
|
|
|
β 0 |
|
|
|
|
0 |
~ F |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
/ |
|
|
|
|
|
|
|
β |
|
|
|
|
|
|
|
F |
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||
С = |
|
|
|
|
|
; 1k |
β = 0, |
|
C |
|
~ |
= |
|
|
|
|
|
, Z |
C = |
|
Z |
|
. |
|
|
|
|
|
|
|
|
|
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||
|
|
Ik− 1 |
|
|
|
|
|
|
|
|
|
|
|
|
β |
|
|
|
β |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
Можно показать, что |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
0 |
|
|
|
|
|
|
/ |
|
|
|
|
|
|
|
k− 1 |
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
1 |
|
|
− 1/k− 1 |
β |
= |
β |
, или |
|
1 |
|
1k− 1 (I k−− 1 − |
|
|
|
1 |
|
|
) |
|
β |
0 |
|
β |
0 , |
||||||||||||||||||||||||
|
|
|
|
|
k |
|
|
||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
− |
|
k− 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
= |
|
|
|||||
|
0 Ik− 1 |
1 |
β |
|
β |
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
I k− 1 |
− |
1k− |
1 |
|
|
|
β |
|
|
|
β |
|
||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k |
|
|
||||||||||||||||||||||||||||||||
|
где 1k − 1 = |
|
|
|
|
|
/ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
1 |
k − |
|
1 |
|
- (k− 1)× (k− 1)-матрица, состоящая из единиц; и далее |
||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
1 |
k−− 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
показать, что результаты оценки параметров уравнения с фиктивными переменными при использовании обоих указанных подходов к устранению линейной зависимости факторов-регрессоров одинаковы.
После оценки регрессии можно применить t-критерий для проверки значимости влияния качественного фактора на свободный член уравнения.
Если k слишком велико и приближается к N, то на параметры при фиктивных переменных накладываются более жесткие ограничения (чем равенство нулю их суммы). Так, например, если наблюдения проведены в последовательные моменты
времени, и вводится качественный фактор “время”, принимающий особое значение в
~ F =
каждый момент времени, то Z IN , и обычно предполагается, что значение
параметра в каждый момент времени (при фиктивной переменной каждого момента времени) больше, чем в предыдущий момент времени на одну и ту же величину.
Тогда роль матрицы C играет N-вектор-столбец T, состоящий из чисел натурального ряда, начиная с 1, и ~β = Tββ T , где β T - скаляр. Уравнение регрессии с
фактором времени имеет вид (эквивалентная исходной форма уравнения при использовании способа “б” исключения линейной зависимости фиктивных переменных):
X = Zα ++ Zβ0β 0++ Tββ T++ ε .
Метод фиктивных переменных можно использовать для проверки влияния качественного фактора на коэффициент регрессии при любом обычном факторе. Исходная форма уравнения, в которое вводится качественный фактор для параметра
α j, имеет следующий вид: |
|
0 |
0 |
|
|
~ F~ j |
|
X = |
Zα ++ |
++ Z j |
|||||
Zββ |
|
Z αα + + ε , |
где Z j − j-й столбец матрицы Z,
α~ j - k-вектор-столбец параметров влияния качественного фактора на α j;
в векторе α j-я компонента теперь обозначается α 0j - средний уровень параметра α j;
- операция прямого произведения столбцов матриц.
Замечание
Прямое произведение матриц A B, имеющих размерность, соответственно, mA nA и mB nB есть матрица размерности (mAmB) (nAnB) следующей структуры:
|
a11B . |
. |
a1n |
A |
B |
|||||
|
|
|
. |
|
|
|
|
|
||
. |
. |
|
. |
|
|
|
||||
. |
|
|
. |
|
|
|
||||
am |
A |
1B . |
. am |
A |
n |
A |
B |
|||
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
Прямое произведение матриц обладает следующими свойствами:
(A B)(C D) = (AC) (BD), если произведения AC и BD имеют смысл,
(A B)/= = A/ B/ , (A B)− 1= = A−− 1 B−− 1 .
Прямое произведение столбцов матриц применимо к матрицам, имеющим одинаковое число строк, и осуществляется путем проведения операции прямого произведения последовательно с векторами-строками матриц.
Приоритет прямого произведения матриц выше, чем обычного матричного произведения.
При использовании способа “а” эквивалентная исходной форма уравнения имеет вид (форма “а”):
|
|
|
0 |
0 |
|
|
|
|
|
0 |
|
|
F |
|
|
|
α 0j |
|
+ ε , |
X = Z |
α |
++ |
++ |
Z |
|
[Z |
, Z |
|
|
||||||||||
Zββ |
|
|
|
]C |
α~ j |
|
|||||||||||||
|
− j |
−− j |
|
|
|
j |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
где Z− j - матрица Z без j-го столбца,
α − j - вектр α без j-го элемента;
а в случае применения способа “б” (форма “б”): |
||||||||
|
|
0 0 |
|
|
~ F |
j |
ε . |
|
X = |
Zα ++ |
++ Z j |
||||||
Zββ |
Z |
Cαα + + |
Все приведенные выше структуры матриц и соотношения между матрицами и векторами сохраняются.
Вуравнение регрессии можно включать более одного качественного фактора.
Вслучае двух факторов, принимающих, соответственно, k1 и k2 значения, форма “б” уравнения записывается следующим образом:
X = Zα ++ Zβ0β 0++ Z1ββ 1++ Z2ββ 2++ ε ,
где вместо “F” в качестве индекса качественного фактора используется его
номер.
Это уравнение может включать фиктивные переменные совместного влияния качественных факторов (взаимодействия фактров). В исходной форме компонента
совместного влияния записывается следующим образом: |
|
|
|
|
|
||||||
|
Z~ 1 |
|
Z~β2~β 12 , |
|
|
|
|
|
|
|
|
~ 12 |
|
|
|
|
|
|
|
|
|||
- k1× k2-вектор-столбец (β 12 |
, ...,ββ 12 |
,ββ 12 |
, ...,ββ 12 |
, ...,ββ 12 |
, ...,ββ 12 |
/ |
, |
||||
где β |
) |
||||||||||
|
11 |
1k2 |
21 |
2k2 |
k1 1 |
|
k1k2 |
|
|
||
а β 12 |
- параметр при фиктивной переменной, которая равна 1, |
если 1-й |
|||||||||
i1 i2 |
|
|
|
|
|
|
|
|
|
|
|
фактор принимает i1-е значение, а 2-й фактор - i2-е значение, и равна 0 в остальных
случаях (вектором-столбцом наблюдений за этой переменной является (k1(i1-1)+i2)- |
|||||||
~ |
1 |
|
|
~ |
2 |
|
|
|
). |
||||||
й столбец матрицы Z |
|
Z |
|
||||
Как и прежде, вектор параметров, из которого исключены все компоненты, |
линейно выражаемые через остальные, обозначается β 12 . Он имеет размерность |
|||||||
(k1− 1)× (k2− 1) и связан с исходным вектором параметров таким образом: |
|||||||
~ |
12 |
= |
1 |
2 |
12 |
, |
|
β |
|
С |
С |
ββ |
|
||
где C1 и C2 - матрицы |
размерности |
k1× (k1-1) и k2× (k2-1), имеющие |
описанную выше структуру (матрица C).
Теперь компоненту совместного влияния можно записать следующим
образом: |
|
|
|
|
|
|
|
|
|
|
|
|
(Z~ 1 Z~ 2 )(C1 C2 )β 12= = (Z~ 1C1 ) (Z~ 2C2 )ββ 12= = Z1 Z2ββ 12= = Z12ββ 12 , |
||||||||||||
а уравнение, включающее эту компоненту (форма “б”) - |
|
|
|
|
||||||||
0 |
0 |
++ |
1 |
1 |
++ |
2 |
2 |
++ |
12 |
12 |
++ |
ε . |
X = Zα ++ Zββ |
|
Z ββ |
|
Z ββ |
|
Z ββ |
|
В общем случае имеется L качественных факторов, j-й фактор принимает kj значений. Пусть упорядоченное множество {1,2,...,L} обозначается F, а J - его
подмножества. Общее их количество, включая пустое подмножество, равно 2L. Каждому такому подмножеству взаимно однозначно соответствует число, например,
в системе исчисления с основанием max k j , и их можно упорядочить по
j
возрастанию этих чисел. Если пустое подмножество обозначить 0, то можно
записать J = 0,1,...,L,{1,2},...,{1,L},{2,3},...,{1,2,3},...,F. Тогда уравнение
регрессии записывается следующим образом: