Анализ вариации зависимой переменной

Общая сумма квадратов отклонений разбивается на два слагаемых:

_, (24)

где , - соответственно факторная и остаточная суммы квадратов.

По аналогии со случаем парной регрессии эти суммы можно выразить через вектор выборочных коэффициентов b и выборочный коэффициент детерминации (табл. 8):

Значения сумм квадратов

Таблица 8

Название	Общее выражение	Выражение через b	Выражение через
Общая
Факторная
Остаточная

При делении суммы квадратов на число её степеней свободы получается несмещённая оценка соответствующей дисперсии (табл. 9).

Значения дисперсий

Таблица 9

Название		Выражение
Общая
Факторная
Остаточная

Выборочный коэффициент детерминации

Выборочный множественный коэффициент детерминации показывает качество подгонки регрессионной модели к наблюдаемым значениям и определяется выражением (в отличие от случая модели парной регрессии он обозначается ):

(25)

Свойства коэффициента :

1. Коэффициент служит для оценки значимости (качества) уравнения регрессии, является одной из наиболее эффективных оценок адекватности регрессионной модели, характеристикой её прогностической силы.

2. Коэффициент при выполнении 5-го условия КЛММР является состоятельной, но смещённой оценкой генерального коэффициента детерминации , с математическим ожиданием и дисперсией, приближённо определяемыми выражениями:

;

.

3. Коэффициент - безразмерная величина, лежащая в пределах 0 1.

4. При =0 вариация зависимой переменной полностью обусловлена воздействием неучтённых в модели переменных и линия регрессии не улучшает качество предсказания значений по сравнению с тривиальным предсказанием

5. При =1 осуществляется точная подгонка и все эмпирические точки удовлетворяют уравнению регрессии

6. Коэффициент может быть вычислен из матрицы парных коэффициентов корреляции по формуле:

, (26)

где - определитель симметричной квадратной матрицы выборочных парных коэффициентов корреляции - го порядка

= (27)

с элементами

, (28)

, (29)

где ; ; = , где

= . (30)

Выражение (26) определяет выборочный множественный коэффициент детерминации р-го порядка (по числу р объединяющих переменных). Множественные коэффициенты детерминации низших порядков определяются аналогичным образом из соответствующих подматриц матриц .

Так, выборочный множественный коэффициент детерминации 1-го порядка , равный квадрату парного коэффициента корреляции между результирующей и -ой объясняющей переменной , находится по формуле:

, (31)

где - определитель подматрицы , получаемый из матрицы путём вычёркивания всех строк и столбцов кроме тех, которые соответствуют переменным и (первые -е строка и столбец);

- алгебраическое дополнение 1-го элемента 1-й строки этой подматрицы.

Выборочный множественный коэффициент детерминации 2-го порядка для объясняемой и факторных переменных , определяется выражением:

, (32)

где - определитель подматрицы , которая находится из матрицы в результате вычёркивания всех строк и столбцов кроме тех, которые отвечают , и ; - алгебраическое дополнение 1-го элемента 1-й строки полученной подматрицы.

Выборочные множественные коэффициенты детерминации более высоких порядков находятся аналогичным образом.

7. Величина , вообще говоря, возрастает при добавлении новых регрессоров (поскольку растёт ), хотя это не обязательно означает улучшение качества регрессионной модели.

Поскольку присоединение в уравнение регрессии каждой новой предикторной переменной не может уменьшить величины коэффициента детерминации (независимо от порядка присоединения), множественные коэффициенты детерминации различных порядков удовлетворяют цепочке неравенств:

. (33)

Попыткой устранения эффекта, связанного с ростом при добавлении новых объясняющих переменных, является коррекция на число регрессоров.