- •1. Описательная статистика
- •1.1. Ряды наблюдений и их характеристики
- •1.2. Эмпирические распределения случайной величины
- •1.3. Теоретические функции распределения случайной величины
- •1.4. Функции распределения, используемые в эконометрии
- •Теоретические вопросы и задания
- •2. Случайные ошибки измерения
- •2.1. Первичные измерения
- •2.2. Производные измерения
- •Теоретические вопросы и задания
- •3. Алгебра линейной регрессии
- •3.1. Обозначения и определения
- •3.2. Простая регрессия
- •3.3. Ортогональная регрессия
- •3.4. Многообразие оценок регрессии
- •Теоретические вопросы и задания
- •4. Основная модель линейной регрессии
- •4.1. Различные формы уравнения регрессии
- •4.2. Основные гипотезы, свойства оценок
- •4.3. Независимые факторы
- •4.4. Прогнозирование
- •Теоретические вопросы и задания
- •5. Гетероскедастичность и автокорреляция ошибок
- •5.2. Гетероскедастичность ошибок
- •5.3. Автокорреляция ошибок
- •Теоретические вопросы и задания
- •6. Ошибки измерения факторов и фиктивные переменные
- •6.1. Ошибки измерения факторов
- •6.2. Фиктивные переменные
- •6.3. Дисперсионный анализ
- •Теоретические вопросы и задания
- •7. Оценка параметров систем уравнений
- •7.1. Невзаимозависимые системы
- •7.2. Взаимозависимые или одновременные уравнения. Проблема идентификации.
- •7.3. Оценка параметров отдельного уравнения
- •7.4. Оценка параметров всех (идентифицированных) уравнений
- •Теоретические вопросы и задания
X = Zα ++ |
F |
~ J ~ J |
++ |
ε = Zα ++ |
F ~ J |
J |
J |
++ |
ε = |
|
F |
J |
J |
++ |
ε , |
|||||
∑ |
Z ββ |
|
∑ |
Z |
Cββ |
|
|
Zα ++ ∑ |
Z ββ |
|
||||||||||
|
|
J = 0 |
|
|
|
J = 0 |
|
|
|
|
|
J = |
0 |
|
|
|
||||
~ J |
|
|
|
|
~ j |
|
J |
|
j |
|
|
|
|
|
0 |
|
|
|
|
|
= |
∏ |
|
|
|
при j > 0; C |
= 1. Выражение |
j J |
|||||||||||||
где Z |
|
Z |
, C = =∏ ∏ C |
|
|
|||||||||||||||
|
|
j J |
|
|
|
|
j J |
|
|
|
|
|
|
|
|
|
|
|
|
означает, что j принимает значения последовательно с 1-го по последний элемент подмножества J.
Очевидно, что приведенная выше запись уравнения для L = 2 является частным случаем данной записи.
Если p(J) - количество элементов в подмножестве J, то
Z~ J ~β J или ZJβ J - J-е эффекты, эффекты p(J)-го порядка, при p(J) = 1 -
главные эффекты, при p(J) > 1 - эффекты взаимодействия, эффекты совместного влияния или совместные эффекты.
~β J или β J - параметры соответствующих J-х эффектов или также сами эти эффекты.
6.3. Дисперсионный анализ
Рассматривается частный случай уравнения регрессии с фиктивными переменными, когда оно включает только такие (фиктивные) переменные, и для каждого сочетания значений факторов имеется одно и только одно наблюдение за
изучаемой переменной. Тогда N = ∏ k j и уравнение имеет вид:
j F
X = ∑F ZJβ J == Zββ ,
J = 0
в котором отсутствует вектор ошибок ε , т.к. при учете эффектов всех порядков их сумма в точности равняется X.
Матрица Z имеет размерность N× N и она не вырождена. Поэтому β = Z− 1X. Но чтобы получить общие результаты, имеющие значение и для частных моделей, в которых эффекты высоких порядков принимаются за случайную ошибку, ниже используется техника регрессионного анализа.
Это - регрессионная модель полного (учитываются эффекты всех порядков) одномерного (изучаемая переменная единственна) многофакторного дисперсионного анализа без повторений (для каждого сочетания значений фактров есть одно наблюдение).
|
|
Обычному линейному индексу i = |
1, N |
компонент |
вектора X |
можно |
||||
поставить в соответствие мультииндекс I, принимающий значения из множества |
||||||||||
∏ |
|
|
|
|
|
|
|
|
|
|
{1, k j |
}, |
так |
что, |
если |
I |
= |
{i1,i2,...,iL}, |
то |
||
j F |
|
|
|
|
|
|
|
|||
i = |
( ... ((i1−− |
1)k2++ |
(i2−− 1))k3++ |
... )kL++ |
iL , и - при этом - обозначения xi и |
|||||
|
|
L− 4 |
|
|
L−− 4 |
|
|
|
|
xI эквивалентны. При таком соответствии обычного индекса и мультииндекса в линейной последовательности значений мультииндекса быстрее меняются его младшие компоненты (с большим порядковым номером).
|
N |
J |
= |
|
∏ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
|
|
~ J |
; |
|
|||||
|
|
|
|
|
|
|
k j , если j > 0, и N |
= 1 |
- количество столбцов в матрице Z |
|
||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
j |
J |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
NJ− |
= |
|
∏ |
|
|
|
(k j−− |
|
1) , если j > 0, и |
N0− |
= 1 - количество столбцов в матрице |
||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
j |
J |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
ZJ ; очевидно, что N F = |
|
|
|
|
∑F NJ− == |
N ; |
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||
|
IJ = |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
J = |
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
{i1 ,..., ip(J) } |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||
|
- |
|
|
мультииндекс |
с |
множеством |
значений ∏ {1, k j |
}; |
||||||||||||||||||||||||||||||||||
I = IF. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
j J |
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
Mb = m - система нормальных уравнений, |
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||
|
где |
M - |
|
N× N-матрица, b и m - |
N-вектора-столбцы и, как обычно, |
|||||||||||||||||||||||||||||||||||||
M = |
1 |
Z/Z, m== |
1 |
Z/ X . |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||
|
N |
|
|
|
|
|
|
|
|
|
|
|
|
N |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
При выбранном порядке следования значений факторов от наблюдения к |
|||||||||||||||||||||||||||||||||||||||||
наблюдению (быстее меняют свои значения более младшие факторы) |
|
|
||||||||||||||||||||||||||||||||||||||||
|
~ J |
= |
∏ |
|
|
|
ξ |
j |
где ξ j |
|
|
есть Ik j , |
если |
j J , или 1k j |
, в противном случае. |
|||||||||||||||||||||||||||
|
Z |
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||
Тогда |
|
|
|
|
|
j |
|
F |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
ZJ |
|
∏ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
= |
|
|
|
ξ |
j |
где ξ j |
|
есть Cj, если |
|
j |
J , |
или 1k j , |
в противном случае, и |
||||||||||||||||||||||||||||
далее |
|
|
|
|
|
j |
|
F |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
/ZJ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
Z |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||
|
J |
= |
|
|
0 , |
если |
|
|
|
|
|
≠ |
|
|
J , т.е. переменные разных эффектов ортогональны |
|||||||||||||||||||||||||||
|
|
J |
|
|
||||||||||||||||||||||||||||||||||||||
друг другу, |
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
MJ = |
|
|
|
ZJ /ZJ == |
|
|
CJ /CJ = |
∏ |
M j , M0 = 1; |
|
|
|
|||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
J |
|
|
|
|
||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
N |
|
|
|
|
|
|
|
|
|
|
N |
|
|
|
j |
J |
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
J |
|
1 |
|
|
|
J / |
|
|
|
|
|
1 |
|
|
|
|
|
J / ~ J / |
|
1 |
|
|
|
J / |
|
J |
|
|
|
|
|||||||||
|
m |
= |
|
|
Z |
|
X== |
|
|
C Z |
X== |
|
|
|
C |
|
X |
|
, |
|
|
|
||||||||||||||||||||
|
|
N |
|
N |
NJ |
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||
|
|
|
|
|
|
J |
|
|
|
|
NJ |
~ J |
/ |
|
|
|
|
|
|
|
|
|
|
J |
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
где |
X |
|
|
|
= |
|
|
N Z |
|
|
X |
- N -вектор-столбец средних по сочетаниям значений |
факторов J с мультииндексом компонент IJ ( xJIJ является средним значением x по
тем наблюдениям, в которых 1-й фактор из множества J принимает i1-е значение, 2- й - i2-е значение и т.д.); X0 = x, XF== X .
M - блочно-диагональная матрица {MJ}, m - вектор-столбец {mJ}.
После решения системы нормальных уравнений и перехода к “полным” векторам параметров эффектов получается следующее:
|
~ J |
= C |
J |
(C |
J / |
C |
J |
)− |
1 |
C |
J / |
X |
J |
== |
J |
X |
J |
== (∏ |
|
j |
)X |
J |
, |
|||||||
|
|
b |
|
|
|
|
|
|
B |
|
|
B |
|
|||||||||||||||||
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
j |
J |
|
|
|
|
|
|
где B |
j |
= |
I |
|
−− |
|
1 |
k j |
(как и прежде, 1 |
k j |
= |
1 |
|
1 |
/ |
), B |
0 |
= |
1. |
|||||||||||
|
k j |
|
k j |
|
|
|
k j |
k j |
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
~ J |
(разных по |
J) не зависят друг от друга, и |
Параметры разных эффектов b |
исключение из уравнения некоторых из них не повлияет на значения параметров
оставшихся эффектов. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||
|
|
|
Чтобы получить более “прозрачные” формулы для определения парметров |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
эффектов, следует ввести понятие сопоставимых векторов этих параметров. |
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
Если |
|
|
|
|
J , то |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
J |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
~b |
|
|
|
= B |
|
|
- NJ-вектор-столбец параметров |
|
-го эффекта, сопоставимый |
||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
JJ |
JJ XJ |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
J |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
с вектором |
~ J |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
~ J |
, и каждая компонента вектора |
||||||||||||||||||||||||||||||||||||
|
b |
: он имеет ту же размерность, что и b |
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
~ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
NJ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
J |
|
|
|
|
|
~ J |
|
|||
J |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
b |
повторена в нем |
N |
|
|
раз - |
|
так, что любой компоненте bIJ |
вектора b |
в |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||
J |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
~ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
JJ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
J |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
J |
|
|
|||||||||||
векторе |
b |
|
|
|
соответствует |
|
компонента |
bI |
|
|
|
|
, |
|
|
|
для |
которой |
|
I |
|
является |
||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
J |
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||
подмножеством тех же элементов IJ , что и |
|
|
|
по отношению к J. |
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||
J |
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
В этом выражении для сопоставимых векторов параметров эффектов |
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
B |
|
|
|
|
|
∏ |
|
|
|
|
|
|
Bj , |
если j |
|
|
|
|
|
|
1 |
1k j , в |
|
|
|||||||||||||||||||||||||||||||||||||
|
|
|
JJ |
= |
|
|
ξ j , где ξ j |
равен |
|
|
|
, или |
|
|
|
противном |
||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
J |
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
j |
J |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k j |
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
J |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
случае ( B0J |
= |
|
|
|
1N |
, BJJ = BJ ). |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||
|
|
NJ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
∑J |
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
B |
|
|
I |
|
|
|
|||||||||||||||||||||||||||||||||||||||
|
|
|
Эти |
|
матрицы |
обладают |
следующим |
свойством: |
|
|
JJ = |
N |
J , откуда |
|||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
|
|
||
получается выражение |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
J = |
|
|
|
|
|
|
|
|
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
J |
|
|
|
J |
~ |
|
|
|
|
|
|
|
|
~ |
|
|
|
|
|
|
|
~ J |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
X |
= |
|
|
JJ |
== |
|
∑∑ |
JJ |
++ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
∑ |
b |
|
b |
|
|
b |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
= 0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
J |
|
|
|
|
|
J≠≠ J |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
J |
J |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
для |
рекурентного |
расчета |
|
параметров |
|
эффектов |
|
|
|
(например, если |
|
|
известны |
|||||||||||||||||||||||||||||||||||||||||||||||||||
b0 , b1i1 , b2i2 , то b12i1 i2 = x12i1 i2 −− b0−− b1i1 −− b2i2 ). |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||
|
|
|
При J = F это выражение представляет собой другую форму записи |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
основного уравнения регрессии: |
F ~ JF |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
~ JF |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
X = |
|
, т.е. |
|
Z |
J J |
|
|
. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
∑ |
|
b |
|
|
b = |
|
|
|
b |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
∑F sJ2 |
|
|
|
|
|
J = |
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
sx2 = |
|
|
- основное тождество дисперсионного анализа, |
показывающее |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
J = |
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
распределение общей дисперсии изучаемой величины по факторам и их взаимодействиям,
2 |
|
1 |
|
J /~ J |
|
|
где sJ |
= |
|
X |
b |
- дисперсия, объясненная совместным влиянием |
|
NJ |
||||||
|
|
|
|
|
факторов J; представляет собой сумму квадратов с NJ− степенями свободы.
Все эти дисперсии не зависят друг от друга. Если совместное влияние
факторов J так же существенно (или не существенно) как и факторов J, то статистика
|
|
|
|
s2J |
N |
−J |
|
(предполагается, что она больше единицы) |
|
|
|
|
sJ2 |
NJ |
|
||
|
|
|
|
|
|
|||
имеет FN |
|
,N−J− |
-распределение (предполагается, что x нормально распределено). |
|||||
−J |
Этот факт можно использовать для проверки гипотез о сравнительной существенности факторов и их взаимодействий.
Обычно эффекты высоких порядков отождествляют со случайной ошибкой. Уравнение регрессии приобретает свою обычную форму и можно воспользоваться t-
иF-критериями для проверки значимости отдельных факторов и их
взаимодействий. Важно, что оценки оставшихся в уравнении эффектов при этом не меняются.
Переходя к более общему и более сложному случаю модели дисперсионного анализа с повторениями, полезно вспомнить следующее. Если в модели регрессионного анализа
X = Zα ++ ε
несколько строк матрицы Z одинаковы, то можно перейти к сокращенной модели, в которой из всех этих строк оставлена одна, а в качестве соответствующей
компоненты вектора X взято среднее по этим наблюдениям с одинаковыми значениями независимых факторов. Т.е. совокупность наблюдений с одинаковыми значениями независимых факторов заменяется одним групповым наблюдением. При
исходной гипотезе E( εε / ) = σ 2I дисперсия остатка по этому наблюдению равна ngσ 2, где ng - количество замененных наблюдений, и значения переменных в
групповом наблюдении должны быть умножены на |
ng (в соответствии с ОМНК). |
||
Значения оценок параметров |
по исходной и |
сокращенной модели будут |
|
|
|
и остаточная (e/e) |
суммы квадратов в исходной |
одинаковыми, но полная ( X/ X ) |
модели будут больше, чем в сокращенной на сумму квадратов отклонений
переменных x по исключенным наблюдениям от своей средней.
Пусть теперь рассматривается регрессионная модель одномерного однофакторного дисперсионного анализа с повторениями:
X = |
[Z |
0 |
~ |
β |
0 |
|
+ |
ε . |
|
,Z] ~ |
|
||||||
|
|
|
|
β |
|
|
|
|
Фактор принимает k значений, и для каждого i-го значения существует ni наблюдений (ni повторений), т.е. исходная совокупность X разбита по какому-то
признаку на k групп, причем сначала в ней идут наблюдения по 1-й группе, потом - по 2-й и т.д..
k |
|
~ |
|
1n |
0 |
. |
0 |
|
|
|
|
1 |
|
|
|
|
|
||
N = ∑ |
ni ; |
Z - N× k-матрица структуры |
0 |
1n2 |
. |
0 |
. |
||
i = |
1 |
|
. |
. |
. |
. |
|
|
|
|
|
|
|
0 |
0 |
. |
1n |
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
k |
Всем повторениям в матрице Z соответствуют одинаковые строки, поэтому можно перейти к сокращенной модели.
|
|
|
1 |
k |
|
x i - среднее и s2i - дисперсия по i-й группе; |
s2e |
= |
|
∑ |
nis2i |
|
|||||
|
|
|
N i = |
1 |
дисперсия по группам. Сокращенная модель имеет следующий вид:
ni x i = ni (β 0++ ββ i ), i== 1, k .
При естественном требовании b0 = x , которое эквивалентно
- суммарная
∑k |
ni bi = 0, |
i = |
1 |
|
|
|
|
|
− |
|
n2 |
−− |
|
n3 |
. . −− |
nk |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
n |
|
n |
n |
|
|
|||||
матрица C |
|
|
|
|
|
1 |
|
1 |
|
1 |
|
и bi = |
x i−− x . |
||
имеет вид |
|
1 |
|
0 . . |
0 |
|
|||||||||
|
|
|
|
|
|
0 |
|
1 . . |
0 |
|
|
|
|||
|
|
|
|
. |
|
. |
. |
. |
|
|
|
||||
|
|
|
|
. |
|
. |
. |
. |
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
0 . . |
1 |
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
||||||
|
1 |
k |
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
sq2 = |
|
|
∑ |
ni b2i |
- |
объясненная |
дисперсия, |
равная полной дисперсии в |
|||||||
|
|
||||||||||||||
|
|
N i = |
1 |
|
|
|
|
|
|
|
|
|
|
|
сокращенной модели.
Полная дисперсия в исходной модели распадается на две части:
s2x = s2q++ s2e
- объясненную и остаточную, или в терминах дисперсионного анализа - межгрупповую и внутригрупповую дисперсии, которые имеют, соответственно, k и
N− k− 1 степеней свободы. Применяя F-критерий, можно оценить статистическую значимость использования данной группировки в целом или выделения отдельных групп.
Теперь рассматривается общий случай L-факторной модели.
В этом случае N больше NF на общее число повторений по всем сочетаниям значений факторов. Пусть
nI |
- |
|
число |
наблюдений при I-м сочетании значений факторов; |
nI ≥ 1, ∑ nI== N ; |
|
|||
I |
|
|
|
|
xI - среднее значение и s2I - дисперсия наблюдений при I-м сочетании; |
||||
s2e = |
1 |
∑ nIs2I |
- суммарная внутригрупповая или остаточная дисперсия для |
|
|
N |
|||
|
|
I |
|
исходной модели с N− NF− 1 степенями свободы. Сокращенная модель имеет вид:
n0.5X = n0.5Zββ ,
где n - диагональная NF-матрица {nI}; X - NF-вектор-столбец {xI};
Z, β - аналогичны L-факторной модели без повторений. Пусть далее
~ = 1 M N n,
N |
|
× NJ -матрица M~ |
|
|
|
|
Z~ |
|
|
/ MZ~ ~ J , |
|
|
NM~ JJ - диагональная |
|||||||||||||||
J |
JJ |
= |
J |
|
в частности |
|||||||||||||||||||||||
NJ- матрица {nJIJ } , где nJIJ |
|
- количество наблюдений при IJ-м сочетании значений |
||||||||||||||||||||||||||
|
|
~ |
FF |
= |
~ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
факторов J ( M |
|
|
M ); |
|
|
|
|
|
|
|
|
|
/ ~ |
|
|
|
|
|
|
|
|
|
|
|||||
|
J |
|
J |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
J |
|
|
||||||||
|
|
-матрица M |
JJ |
= |
C |
J |
|
JJ |
C |
, |
|
|||||||||||||||||
N − |
× N − |
|
|
|
|
|
|
|
|
M |
|
|
|
|
|
|
||||||||||||
J |
|
|
|
|
|
|
|
J |
= |
C |
J / ~ |
JJ |
X |
J |
|
, |
|
|||||||||||
N − |
-вектор-столбец m |
|
|
|
|
M |
|
|
|
|
|
|
|
|||||||||||||||
где |
X |
J |
= |
|
~ |
JJ − 1~ J / ~ |
|
|
|
|
|
|
J |
|
|
|
|
|
|
|
|
средневзвешенных x по |
||||||
|
M |
Z |
|
MX |
|
- N |
-вектор-столбец |
сочетаниям значений факторов J.
Матрица M и вектор m системы нормальных уравнений для b составляются
естественным образом из блоков M JJ и mJ.
Формулы для MJ (в данном случае MJJ), mJ и XJ, приведенные для модели
без повторений, являются частным случаем этих формул при n = |
IN F . |
|
|
|
|
|
|
||||||||||||
2 |
/ |
− 1 |
m−− x |
2 |
== |
X |
/ ~ ~ −− 1 |
−− 1 |
N F |
~ |
|
|
|
дисперсия в |
|||||
sq = |
m M |
|
|
M(M |
|
)MX - полная |
|||||||||||||
сокращенной модели или объясненная дисперсия в исходной модели. |
|
|
|
|
|
|
|||||||||||||
Разные эффекты могут оставаться ортогональными ( M |
|
|
|
|
|
||||||||||||||
JJ = 0 при |
|
≠ |
J ) в |
||||||||||||||||
J |
|||||||||||||||||||
одном специальном случае, |
когда каждый |
более младший |
фактор |
делит |
|
все |
|||||||||||||
выделенные до него подгруппы в одинаковых пропорциях, т.е. |
~ |
∏ |
~ |
jj |
(в |
||||||||||||||
M = |
M |
|
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
j F |
|
|
частности, когда количество повторений nI для всех сочетаний I одинаково). В этом
случае для ортогональности эффектов достаточно матрицы Сj выбрать так, чтобы |
|||
/ |
~ j |
j |
= 0 . Эти требования удовлетворяются, если данные матрицы обладают |
1k j |
M C |
|
описанной выше (для однофакторной модели с повторениями) структурой:
|
|
− |
c |
j |
|
1 |
(nj |
,..., nj ) . |
Сj = |
|
|
, где cj = |
|||||
|
|
|
nj |
|||||
|
|
Ik j − 1 |
2 |
k j |
||||
|
|
|
|
|
|
1 |
|
|
Такие матрицы обобщают структуру матриц Сj модели без повтрений.
Для этого специального случая можно построить формулы решения задачи дисперсионного анализа, обобщающие приведенные выше формулы для модели без повторений.
|
В общем случае указанный выбор матриц Сj обеспечивает равенство нулю |
|||||
только |
M 0j. Особым выбором CJ (p(J)>1) можно добиться равенства нулю еще |
|||||
некоторых блоков общей матрицы M. |
|
|
||||
|
Матрица CJ не обязательно должна равняться прямому произведению Сj по |
|||||
j J . |
Она должна быть размерности |
NJ × NJ− |
и иметь ранг NJ− , т.е., например, |
|||
|
|
− |
cJ |
- (NJ − |
NJ− ) × NJ− -матрица. Поэтому для |
|
обладать структурой |
I |
|
, где cJ |
|||
|
|
N |
J |
|
|
|
|
|
|
|
|
|