Построение и исследование классической линейной модели множественной регрессии в ППП Statistica (90
..pdfy 0 1x1 2x2 ... k xk . |
(1.8а) |
Рассмотрим свойства МНК-оценок, рассматривая , как функцию от 1,n :
МНК ( 1,n ) ( T ) 1 T 1,n . |
(1.9) |
1) Несмещенность. МНК – оценка (ìíê ) является несмещенной оценкой вектора :
M (ìíê |
)( 1,n ) . |
(1.10) |
(См. задание №9 п.1.6) 2) Эффективность.
Ковариационная матрица вектора оценок имеет вид:
M[( M )( M )T ] 2 ( T ) 1. |
(1.11) |
(См. задание №10 п.1.6)
Несмещенная оценка остаточной дисперсии 2 определяется по формуле:
|
2 |
|
(Y Y)T (Y Y) |
|
Q |
|
|
S |
ост |
|
|
|
ост |
. |
(1.12) |
n k 1 |
|
||||||
|
|
|
|
n k 1 |
|
||
(См. задание №11 п.1.6)
Оценка ковариационной матрицы определяется по формуле:
11
|
Sост2 |
( T ) 1. |
(1.13) |
3) Одно из достаточных условий состоятельности оценок |
и S2 |
||
заключается в [1]: |
|
|
|
|
|
lim min , |
|
|
|
n |
|
где |
- наименьшее собственное число матрицы T . |
|
|
min |
|
|
|
1.3 Анализ вариации результативного признака. Выборочный
коэффициент детерминации
В качестве характеристики качества функции регрессии используется коэффициент детерминации, который получается из тех соображений, что общая вариация (дисперсия) результативного признака складывается из вариации функции регрессии, обусловленной варьированием значений объясняющих переменных
(факторной дисперсии) и из вариации случайной величины относительно функции регрессии (остаточной дисперсии).
Определим выборочную вариацию результативной переменной y величиной:
|
n |
|
|
|
|
n |
|
|
|
|
|
|
|
n |
|
n |
|
|
|
n |
|
|
|
|
|
Qобщ ( yi |
|
y |
)2 |
(( yi yi |
) ( yi |
|
y |
))2 |
( yi |
yi )2 |
( yi |
|
y |
)2 |
2 ( yi |
yi )( yi |
|
y |
) |
(1.14) |
|||||
|
i 1 |
|
|
|
|
i 1 |
|
|
|
|
|
|
|
i 1 |
|
i 1 |
|
|
|
i 1 |
|
|
|
|
|
|
|
|
|
|
|
n |
yi )( yi |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Qост |
Qфакт |
2 ( yi |
|
y |
), |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
i 1
n
где y yi /n,
i 1
yi - оценка модельных значений, полученная по (1.8);
n |
|
|
|
|
|
|
|
|
|
|
|
|
Qобщ (yi |
|
|
)2 |
|
|
)T |
|
|
|
- полная вариация yi относительно |
y |
; |
y |
(Y Y |
(Y Y |
) |
|||||||||
i 1 |
|
|
|
|
|
|
|
|
|
|
|
|
n |
yi )2 |
n |
|
|
|
|||||||
Qост (yi |
zi2 |
(Y Y)T |
(Y Y)- вариация регрессионных остатков; |
|||||||||
i 1 |
|
|
|
i 1 |
|
|
|
|
|
|
|
|
12
Qфак (yi |
|
|
)2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
y |
(Y Y |
)T (Y Y)- вариация относительно |
y |
, объясняемая регрессией; |
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
Y (y ,...,y |
n |
)T |
, |
Y |
(y, y,...,y)T |
, Y (y |
y |
2 |
... y |
n |
)T . |
||||||||||||||||
1 |
|
|
|
|
|
n*1 |
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
||||
Покажем, что удвоенное произведение равно нулю:
|
n |
|
0 |
i 1 |
|
|
n |
|
1 |
|
i 1 |
|
n |
|
k |
|
|
i 1
|
|
|
|
|
(xi ) zi |
|
0 (x1) |
||
|
|
|||
|
|
|
|
|
|
1(x1) |
|||
(xi ) zi |
||||
|
|
... |
||
... |
|
|
|
|
|
|
(x ) |
||
|
|
|
k |
|
|
|
1 |
||
(xi ) zi |
|
|
|
|
|
|
|
|
|
0 (x2 )
1 (x2 )
....
k (x2 )
... |
|
0 |
(x |
n |
) |
|
z |
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
... |
1 |
(xn ) |
|
z2 |
|
|||||||
T Z T (Y ) TY T |
||||||||||||
... |
|
.... |
|
|
|
|
|
|
|
, |
||
|
|
|
|
... |
|
|
||||||
... |
|
|
|
|
|
|
|
|
|
|
|
|
k (xn ) |
|
zn |
|
|
|
|||||||
TY T ( T ) 1 TY TY TY 0
n |
n |
то есть 0 (xi )zi 0, l (xi )zi 0, l 0,k ;
i 1 i 1
из чего следует, что
n |
|
|
|
|
n |
|
|
n |
|
|
|
|
|
||
(yi yi )(yi |
|
y |
) zi |
(yi |
y |
) zi ( 0 0 (xi1xi2... xik ) 1 1(xi1xi2... xik ) ... k k (xi1xi2... xik ) |
y |
) |
|||||||
i 1 |
|
|
|
|
i 1 |
|
|
i 1 |
|
|
|
|
|
|
|
|
n |
|
|
|
n |
|
|
|
n |
|
|
n |
|
|
|
0 |
zi 0 (xi |
) 1 |
zi 1(xi ) ... k zi k (xi |
) |
y |
zi 0 |
|
|
|
||||||
|
i 1 |
|
|
|
i 1 |
|
|
|
i 1 |
|
|
i 1 |
|
|
|
Таким образом, |
|
Qобщ Qост |
Qфакт , |
следовательно, |
|
|
|
||||||||
Qфак 1 Qост R2 ,
Qобщ Qобщ
R2 - оценка коэффициента детерминации.
Выборочный коэффициент детерминации характеризует вариации результативного признака у, обусловленную влиянием переменных, включенных в модель.
Из (1.15) следует, что 0 R2 1.
(1.15)
долю общей объясняющих
13
1.4 Проверка гипотезы об адекватности линейной модели выборочным
данным
Дальнейшее изучение свойств оценок КЛММР проводится при дополнительном предположении о нормальном характере распределения регрессионных остатков: i N(0, 2 ), i 1,n, N(0, 2En ), которое должно быть проверено после оценки коэффициентов линейной модели множественной регрессии.
Для проверки значимости построенного уравнения регрессии выдвигаются гипотезы:
Н0: β1=β2=…=βк=0 (линейная модель множественной регрессии неадекватна выборочным данным); (вариация ни одной из объясняющих переменных не оказывает влияние на вариацию результативного признака)
Н1: j [1,к]: j 0(ЛММР адекватна выборочным данным); (вариация хотя бы одной из объясняющих переменных оказывает влияние на вариацию результативного признака).
Для проверки гипотезы Н0 используется статистика:
|
R2 /k |
|
|
Q /k |
|
(1.16) |
|
F |
|
|
|
|
факт |
, |
|
Q |
|
/(n k 1) |
|||||
|
(1 R2 )/(n k 1) |
|
ост |
|
|
||
|
|
|
|
|
|
|
|
которая в случае справедливости Н0 имеет, распределение Фишера – Снедекора с числом степеней свободы 1 k и 2 n k 1.
(См. задание 18 п.1.6)
14
1.5 Проверка гипотез о значимости коэффициентов КЛММР
В случае, если нулевая гипотеза о незначимости уравнения регрессии отвергнута, проверяем гипотезы о значимости коэффициентов уравнения регрессии.
Выдвигаются гипотезы:
Н0: βj=0 (коэффициент βj незначимо отличен от нуля); (объясняющая переменная хj не оказывает влияние на результативный признак)
Н1: βj 0 (коэффициент βj – значимо отличен от нуля); (объясняющая переменная хj оказывает влияние на результативный признак)
Для проверки таких гипотез Н0 строятся статистики
|
|
|
|
|
|
|
|
|
|
|
|
|
j |
|
|
|
[( T ) 1]j 1j 1 , |
(1.17) |
|||
tj |
|
|
, |
j 1,2,...,k, |
S |
Sîñò |
||||
|
|
S |
|
|
j |
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
j |
|
|
|
|
|
|
|
которые в случае справедливости Н0, имеют распределение Стьюдента с n k 1
степенями свободы.
1.6 Вопросы и задания, выносимые на практическо-семинарские занятия
1.Записать нелинейную относительно включенных в анализ объясняющих переменных, но линейную по оцениваемым параметрам зависимость результативного признака от объясняющих переменных.
2.Записать выборочную модель множественной регрессии и ее реализацию.
3.Что такое регрессионный остаток? Чем обусловлено его наличие в
модели?
4.Сформулируйте условия Гаусса-Маркова.
15
5.Какая модель называется классической линейной моделью множественной регрессии (КЛММР)?
6.Какие методы существуют для оценивания коэффициентов в рамках КЛММР? В чем их суть? [1, C. 632-637].
7.Выведите формулу для нахождения МНК-оценки параметров .
8.Какими свойствами обладают МНК-оценки КЛММР?
9.Докажите свойство несмещенности МНК-оценки коэффициентов КЛММР [4, C. 48-54].
10.Выведите формулу для ковариационной матрицы вектора МНК-оценок КЛММР [1, C. 644-646].
|
2 |
|
(Y Y)T (Y Y) |
|
Q |
ост |
|
11. Доказать, что S |
ост |
|
|
|
|
есть несмещенная оценка |
|
n k 1 |
|
|
|||||
|
|
|
|
n k 1 |
|||
остаточной дисперсии 2 [4, C. 48-54].
12.Доказать справедливость разложения:
n |
|
|
n |
|
|
|
n |
yi )2 |
(yi |
|
y |
)2 (yi |
|
y |
)2 |
+ (yi |
|
i 1 |
|
|
i 1 |
|
|
|
i 1 |
|
13.Запишите формулу выборочного коэффициента детерминации.
14.Что характеризует коэффициент детерминации в регрессионном анализе? В каких пределах он изменяется?
15.Как проверить гипотезу об адекватности КЛММР?
16. Доказать, что при β1=β2=…=βк=0 статистика |
|
Qфакт |
/k |
|
F |
|
|
имеет |
|
|
|
|||
|
|
Qост /(n k 1) |
||
F-распределение с числом степеней свободы 1 k и 21 n k 1[4, C. 54-55].
17.Как проверить гипотезу о значимости отдельных коэффициентов
КЛММР?
18.Постройте доверительные интервалы для значимых коэффициентов КЛММР.[4, C.58-59],[6, C.76]
19. Запишите доверительные интервалы для |
|
и |
|
[4, C. 58-60] |
yn |
yn 1 |
16
20.По данным n 15 фирм исследована зависимость прибыли y от числа
работающих |
x вида y 0 1x. |
Была |
получена оценка остаточной дисперсии |
|||||
S2 2.2 и обратная матрица XT X |
1 |
|
0.31 |
0.03 |
||||
|
|
|
|
|
|
|||
|
|
|
|
|
0.03 |
0.05 |
|
|
|
|
|
|
|
|
|||
Определить, чему равна дисперсия оценки коэффициента регрессииSb1 . |
||||||||
21. Уравнению регрессии |
y 3.57 0.63x1 1.78x2 соответствует множественный |
|||||||
коэффициент |
корреляцииRy / x1x2 |
0,79. |
Какая |
доля вариации результативного |
||||
показателя y (в %) объясняется вошедшими в уравнение регрессии переменными x1
и x2 ?
22. При исследовании зависимости себестоимости продукции "у" от объема выпуска Х1 и других факторов (всего вместе "к") по данным "n" обследованных предприятий получена оценка уравнения регрессии уˆ . Определить с доверительной вероятностью на какую величину максимально может измениться себестоимость продукции у, если объем производства Х1 увеличить на 1 при неизменных значениях других факторов:
|
|
уˆ 2,88 0,72 х |
....; |
n 20, |
к 2; |
0,95 |
||
|
|
|
|
0,052 1 |
|
|
|
|
Р.S. |
t |
вj |
j |
t 1 ,n к 1 |
|
|
||
|
|
|
|
|||||
|
|
|
Sвj |
|
|
|
|
|
а) 0,65 |
|
|
б) -0,83 |
|
в) –0,052 |
г) –0,72 |
||
23. Какое условие относится к условиям гомоскедастичности в линейной модели множественной регрессии
а) М i j |
0, |
i j, |
i 1,n, |
j 1,n |
|||||
|
2, |
i j, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
1, |
i j, |
i |
|
|
j |
|
|
|
б) М i j |
1,n, |
1,n |
|||||||
|
2, |
i j, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
17
в) М i j |
0 |
i j, |
i 1,n, |
j 1,n |
|||||
|
|
i j, |
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
||
|
|
i |
|
|
|
|
|
|
|
|
1 |
|
i j, |
i |
|
|
j |
|
|
г) М i j |
|
1,n, |
1,n |
||||||
|
|
i j, |
|
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
|
|
24. Модель yi 0 1xi1 ... k xik i , i 1,n называют классической линейной моделью множественной регрессии, если выполняются следующие условия:
а)
б)
в)
(x(1) ,x(2) ,...,x(k) ) неслучайные переменные;
rang Х k 1 n;
M i 0, i 1,2,...,n;
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
при i |
j |
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
j 1,n |
|||||||||||
M( i j ) |
|
|
|
|
i 1,n; |
|||||||||||||||||
|
|
|
|
|
|
|
|
0 |
|
|
при i j |
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
(1) |
,x |
(2) |
,...,x |
(k) |
) неслучайные переменные; |
|||||||||||||||
(x |
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
rang Х k 1 n |
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
0, |
i 1,2,...,n; |
|
|
|
|
|
|
|
|
|
|
|||||||
M i |
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
при i |
j |
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
j 1,n |
||||||||||||
M( i j ) |
|
|
|
|
i 1,n; |
|||||||||||||||||
|
|
|
|
|
|
|
|
0 |
при i j |
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
(1) |
,x |
(2) |
,...,x |
(k) |
) неслучайные переменные; |
||||||||||||||||
(x |
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
rang Х k 1 n |
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
0, |
|
i 1,2,...,n; |
|
|
|
|
|
|
|
|
|
|
||||||
M i |
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
при i |
j |
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
j 1,n |
|||||||||||
M( i j ) |
|
i |
|
|
i 1,n; |
|||||||||||||||||
|
|
|
|
|
|
|
|
0 |
|
|
при i j |
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
(1) |
,x |
(2) |
,...,x |
(k) |
) неслучайные переменные; |
|||
|
(x |
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
г) |
rang Х k 1 n |
|
||||||||
|
|
|
0, |
i 1,2,...,n; |
||||||
|
M i |
|||||||||
|
|
|
|
2 |
, |
где |
Еn |
|||
|
|
|
||||||||
|
|
|
|
|
|
|
0 |
|
|
0 |
25. Для изучения рынка жилья в городе по данным о 43 коттеджах, получена
следующая оценка уравнения регрессии:
yˆ 21.1 6.2x1 |
3.57x2 |
1.17х3 , |
Rˆ2 0.7 |
|
(8,2) |
(3,8) |
(0,83) |
(0,59) |
|
где у –цена объекта, тыс.долл.;
x1- расстояние до центра города, км;
18
x2 - полезная площадь объекта, кв.м; x3 - число комнат в квартире;
Модель оказалась значимой. Укажите факторы, оказывающие существенное влияние на цену объекта на заданном уровне значимости =0,05.
а) расстояние до центра города;
б) полезная площадь объекта;
в) число комнат в квартире;
г) расстояние до центра города, и полезная площадь объекта.
P.S. |
tкр 0,05,39 = 2,022; |
tкр 0,05,40 |
= 2,021; |
|
tкр 0,05,41 = 2,020; |
tкр 0,05,47 |
= 2,012. |
2 Практическая часть
2.1 Описание лабораторной работы
Лабораторная работа включает в себя следующие этапы:
-постановку задачи;
-ознакомление с порядком выполнения работы;
-выполнение расчетов индивидуальных задач на компьютере и анализ результатов;
-подготовку письменного отчета с выводами по работе;
-защиту лабораторной работы.
2.2Задание к лабораторной работе
На основе показателей, характеризующих социально-экономическое развитие
городов и районов Оренбургской области (Приложение А), провести регрессионный
анализ:
-построить МНК-оценки коэффициентов линейной модели множественной регрессии;
-проверить значимость уравнения регрессии и значимость коэффициентов уравнения регрессии;
-для значимых коэффициентов уравнения регрессии простроить доверительные интервалы;
-провести экономический анализ результатов.
2.3Порядок выполнения работы
Ищется зависимость ожидаемой продолжительности жизни мужчин, число лет
(y) от ряда факторов:
х1 – общий коэффициент рождаемости ( на 1000 человек);
20