konspekt_lektsy_ochnoe
.pdfАннотация. Данная тема раскрывает прикладное содержание регрессионного анализа.
Ключевые слова. Коэффициент регрессии, статистическая значимость, метод наименьших квадратов, коэффициент детерминации.
Методические рекомендации по изучению темы
Изучить лекционную часть, где даются общие представления по данной теме.
Для закрепления теоретического материала ознакомиться с решениями типовых задач и ответить на вопросы для самоконтроля.
Для проверки усвоения темы выполнить практические задания и тест для самоконтроля.
Для подготовки к экзамену выполнить итоговый тест и итоговые практические задания.
Рекомендуемые информационные ресурсы:
1. http://tulpar.kfu.ru/course/view.php?id=2213.
2. Эконометрика: [Электронный ресурс] Учеб.пособие / А.И. Новиков. - 2-e
изд., испр. и доп. - М.: ИНФРА-М, 2011. - 144 с.: с. (http://znanium.com/catalog.php?item=booksearch&code=%D1%8D%D0%BA%D0 %BE%D0%BD%D0%BE%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%B A%D0%B0&page=1#none) С. 46-56.
3. Уткин, В. Б. Эконометрика [Электронный ресурс] : Учебник / В. Б. Уткин; Под ред. проф. В. Б. Уткина. - 2-е изд. - М.: Издательско-торговая корпорация «Дашков и К°», 2012. - 564 с.
(http://znanium.com/catalog.php?item=booksearch&code=%D1%8D%D0%BA
%D0%BE%D0%BD%D0%BE%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D 0%BA%D0%B0&page=4#none) С. 338-365.
4.Валентинов, В. А. Эконометрика [Электронный ресурс]: Практикум / В. А. Валентинов. - 3-е изд. - М.: Дашков и К, 2010. - 436 с.
51
(http://znanium.com/catalog.php?item=booksearch&code=%D1%8D%D0%B
A%D0%BE%D0%BD%D0%BE%D0%BC%D0%B5%D1%82%D1%80%D0%B8% D0%BA%D0%B0&page=3#none) С. 67-99.
5.Эконометрика. Практикум: [Электронный ресурс] Учебное пособие / С.А. Бородич. - М.: НИЦ ИНФРА-М; Мн.: Нов.знание, 2014. - 329 с. (http://znanium.com/catalog.php?item=booksearch&code=%D1%8D%D0%BA%D0 %BE%D0%BD%D0%BE%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%B A%D0%B0&page=4#none) С. 99-133.
Экономическая интерпретация параметров модели
Коэффициент регрессии b
Свободный коэффициент a
•показывает среднее изменение результата с изменением фактора на одну единицу
•b>0- связь прямая
•b<0- связь обратная
•показывает значение Y при х=0
•если a>0, то Vx>Vy
•если признак-фактор х не может иметь нулевого значения, то трактовка а не имеет смысла
Рис. 4.1. Интерпретация параметров модели
Коэффициенты корреляции и детерминации в линейной модели пар-
ной регрессии. Если все точки лежат на построенной прямой, то регрессия Y на Х «идеально» объясняет поведение зависимой переменной. Обычно поведение Y лишь частично объясняется влиянием переменной Х.
52
Рис. 4.2. Диаграмма Венна
Линейный коэффициент парной корреляции:
r b x |
cov(x, y) |
|
|
yx |
|
y |
|
x |
|
|
|
|
|
|
|
|
|
||||
yx |
y |
x y |
|
|
x y |
|||||
|
|
|
||||||||
1 ryx 1
Если b>0, то ryx>0; если b<0, то ryx<0.
По абсолютной величине, чем ближе значение rxy к единице, тем теснее связь, чем ближе значение rxy к нулю, тем слабее связь между y и x.
ryx 0,3 слабая
0,3 ryx 0,7 средняя ryx 0,7 сильная, тесная
Суммы квадратов отклонений:
-общая (TSS): (yi y)2
-регрессионная (ESS): (yx y)2
-остаточная (RSS): (yi yx )2
(yi y)2 (yx y)2 (yi yx )2
53
Рис.4.3. Геометрическая интерпретация
Число степеней свободы (df-degrees of freedom) - это число независимо варьируемых значений признака. Для общей СКО требуется (n-1) независимых отклонений, т.к. (y y) 0, что позволяет свободно варьировать (n-1) значений, а последнее n-е отклонение определяется из общей суммы, равной нулю. Поэтому dfобщ. n 1.
Факторную СКО можно выразить так:
yˆx y 2 a bx a bx 2
bx bx 2 b2 x x 2
Эта СКО зависит только от одного параметра - b,поскольку выражение под знаком суммы к значениям результативного признака не относится. Следовательно, факторная СКО имеет одну степень свободы, и dfфакт. 1.
Для определения dfостат. воспользуемся аналогией с балансовым равенством (11). Можно записать равенство и между числами степеней свободы:
dfобщ. dfфакт. dfостат.
Таким образом, можем записать: n 1 1 n 2
54
Из этого баланса определяем, что
dfостат.
=n-2.
Разделив каждую СКО на свое число степеней свободы, получим средний квадрат отклонений, или дисперсию на одну степень свободы.
Выборочные оценки дисперсий:
|
|
|
|
|
|
2 |
|
|
( |
|
|
i |
|
|
|
|
||
- общая дисперсия: S |
TSS |
|
|
|
y y)2 |
|
|
|||||||||||
|
|
|
|
n 1 |
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
- регрессионная дисперсия: |
|
|
|
|
|
|
(yx |
y) |
2 |
|||||||||
S |
2 |
ESS |
|
|
||||||||||||||
|
m |
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
- остаточная дисперсия: S |
|
|
|
|
|
|
(yi yx ) |
2 |
|
|||||||||
2 |
RSS |
|
|
|
|
|||||||||||||
|
|
|
n m 1 |
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Коэффициент детерминации: |
|
|
|
|
|
|
||||||||||||
|
|
|
(yx |
|
)2 |
|
(yi yx )2 |
|
|
|
|
|||||||
R |
2 |
|
y |
1 |
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
(yi y)2 |
(yi y)2 |
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|||||||||||
R2 r 2 yx ;0 R2 1
Коэффициент детерминации определяет долю разброса зависимой переменной Y, объясняемую регрессией Y на X.
Проверка качества модели линейной парной регрессии (верификация
модели) |
|
|
|
Проверка |
|
этап |
общего |
|
качества |
||
|
||
1 |
уравнения |
|
регрессии |
||
|
2 этап
Проверка
значимости
коэффициен -тов регрессии
3 этап
Проверка
соблюдения предпосылок МНК
Рис. 4.5. Этапы проверки качества модели
1 этап: F-тест состоит в проверке гипотезы H0 о статистической незначи-
мости уравнения регрессии и показателя тесноты связи.
55
H |
|
|
2 |
2 |
RSS |
|
|
|
|
|
|
|
||
0 |
: D |
ESS D |
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
H |
|
|
2 |
2 |
RSS |
|
|
|
|
|
|
|
||
1 |
: D |
ESS D |
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(yx |
y) |
2 |
/ m |
|
|
r |
xy |
|
||
F |
|
|
|
|
|
|
|
|
|
2 |
|
(n 2) |
||
(yi yx ) |
2 |
/(n m 1) |
1 |
|
2 |
|||||||||
|
|
|
|
|
r |
xy |
||||||||
FF ,v1 m,v2 n m 1 H1
FF ,v1 m,v2 n m 1 H0
2 этап: T-тест состоит в проверке гипотезы Н0 о статистической незначимости коэффициентов регрессии и корреляции.
H |
0 |
|
: 0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
H |
1 |
: 0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
t |
b |
|
|
t |
|
|
H |
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
/ 2,n 2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
t |
b |
|
|
t |
|
|
H |
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
/ 2,n 2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
b |
|
b |
|
;ta |
|
|
a |
;tr |
|
r |
|
|
|
r |
|
n 2 |
|
|
|
||||||||||||
|
mb |
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
ma |
|
|
|
|
mr |
1 r 2 |
|
|
|
||||||||||||
mb |
|
|
|
(y yx )2 /(n 2) |
|
|
|
|
S 2 RSS |
|
SRSS |
||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
(x x)2 |
|
|
(x x)2 |
x |
n |
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||
ma |
|
|
|
(y yx )2 |
|
|
x2 |
|
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
(n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
2) |
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
n (x x) |
|
|
|
|
|
|
|
|
||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
1 r 2 |
2 |
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
mr |
|
|
|
|
|
;t |
r |
t |
b |
F |
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
n 2 |
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
3 этап: проведение тестов на гетероскедастичность и автокорреляцию остатков.
Доверительные интервалы для коэффициентов теоретического уравнения регрессии:
56
t |
b |
|
|
|
m |
|
|
|
|
|
|
|
|
|
|
b |
|
|
|
b t |
/ 2,n 2 |
m |
; |
|
|
|
b |
|
|
b b b b |
||||
a t |
/ 2,n 2 |
m |
; |
|
|
|
a |
|
|
a a a a |
||||
Интервалы прогноза по линейному уравнению регрессии. Прогнози-
рование по уравнению регрессии представляет собой подстановку в уравнение
регрессии соответственного значения х. Такой прогноз |
ˆ |
|
|
|||||||||
yx называется точеч- |
||||||||||||
ным. |
Он |
не является точным, |
поэтому дополняется |
расчетом стандартной |
||||||||
ошибки |
yˆ |
x ; получается интервальная оценка прогнозного значения y |
|
: |
||||||||
|
||||||||||||
|
|
|
||||||||||
yˆ |
x |
m |
|
y yˆ m |
|
|
|
|
|
|||
|
|
yˆ |
x |
|
|
yˆ |
x |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
Преобразуем уравнение регрессии: |
|
|
|
||||||
yˆx a bx y bx bx y b x x |
|
|
|
|||||||||
ошибка myˆx зависит от ошибки |
y и ошибки коэффициента регрессии b, т.е. |
|||||||||||
m2 |
m2 |
|
m2 (x x)2. |
|
|
|
|
|||||
|
|
yˆx |
|
|
y |
|
b |
|
|
|
|
|
Из теории выборки известно, что m2 2
y n
Используем в качестве оценки 2 остаточную дисперсию на одну сте-
пень свободы S 2 , получаем: m2y |
S 2 |
||
|
|
|
n |
Ошибка коэффициента регрессии : |
|
||
m2 |
S2 |
|
|
(x x)2 |
|
||
b |
|
||
Таким образом, при x xк получаем:
57
m2 yˆx
myˆx
xк
|
S |
2 |
|
|
|
S |
2 |
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
(x |
|
õ) |
2 |
S |
2 |
|
|
|
|
|
|
(x |
|
|
|
|
|
ê |
|
|
|
||||
|
|
n |
|
x) |
2 |
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
n |
||||||||
S |
|
1 |
|
(x |
ê |
õ) |
2 |
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
n |
|
(õ õ) |
2 |
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
Как видно из формулы (11), |
|||||||||||||||||
х |
|
и возрастает по мере удаления |
||||||||||||||||
y
|
(x |
|
õ) |
2 |
|
|
|
||
|
|
ê |
|
|
|
|
|
|
|
|
(õ õ) |
2 |
|
|
|||||
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
(11) |
величина |
|
m |
yˆx |
достигает минимума при |
|||||
|
|
|
|
||||||
хк от |
х |
в любом направлении. |
|||||||
x
Для нашего примера эта величина составит:
|
|
|
1 |
|
(x 3,143)2 |
|
m |
|
53 |
|
|
ê |
|
|
|
|||||
|
yˆx |
|
7 |
|
10,857 |
|
|
|
|
|
|
При хк х myˆx 
53: 7 2,75 . При хк 4
|
|
|
1 |
|
(4 3,143)2 |
|
3,34 |
m |
|
53 |
|
|
|
|
|
|
|
||||||
|
yˆx |
|
7 |
|
10,857 |
|
|
|
|
|
|
|
|
Для прогнозируемого значения óˆõ 95% - ные доверительные интервалы при заданном хк определены выражением:
óˆ |
t |
mˆ |
(12) |
õê |
|
yx, |
|
|
|
|
58 |
т.е. при
составит
хк ур
4 yˆ |
x |
2,57 3,34 |
|
ê |
|
5,79 36,84 |
||
или |
yxê |
8,58. При хк 4 прогнозное значение |
|
|
ˆ |
|
|
4 141,57 |
- это точечный прогноз. |
||
Прогноз линии регрессии лежит в интервале:
132,99 óˆ |
150,15 |
õ |
|
ê |
|
Мы
заданном
рассмотрели доверительные интервалы для среднего значения у при х.Однако фактические значения у варьируются около среднего зна-
чения |
óˆ |
, |
|
они могут отклоняться на величину случайной ошибки ε, дисперсия |
|||||||||
õ |
|
|
|||||||||||
которой оценивается как остаточная дисперсия на одну степень свободы S |
2 |
. |
|||||||||||
|
|||||||||||||
Поэтому ошибка прогноза отдельного значения |
у должна включать не только |
||||||||||||
стандартную ошибку |
m |
yˆx |
, но и случайную ошибку S. Таким образом, средняя |
||||||||||
|
|
||||||||||||
ошибка прогноза индивидуального значения у составит: |
|
|
|||||||||||
|
|
|
|
|
1 |
|
|
(x х)2 |
|
|
|
|
|
|
myi ( x |
|
) S 1 |
|
|
к |
|
|
(13) |
|
|
||
|
к |
n |
(х х) |
2 |
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Для примера:
|
|
|
|
1 |
|
(4 3,143)2 |
|
|
myi ( xк 4) |
|
53 |
|
|
|
|
|
8,01 |
1 |
7 |
10,857 |
|
|||||
|
|
|
|
|
|
|
Доверительный интервал прогноза индивидуальных значений y при xк 4 с вероятностью 0,95 составит: 141,57 2,57 8,01, или 120,98 ур 162,16.
Пусть в примере с функцией издержек выдвигается предположение, что в предстоящем году в связи со стабилизацией экономики затраты на производство 8 тыс. ед. продукции не превысят 250 млн. руб. Означает ли это изменение найденной закономерности или затраты соответствуют регрессионной модели?
59
Точечный прогноз:
yˆ |
x 8 |
5,79 36,84 8 288,93. |
|
|
Предполагаемое значение - 250. Средняя ошибка прогнозного индивидуального значения:
my |
|
|
S |
1 |
|
1 |
|
(хк |
х) |
|
|||||
|
|
n |
(х х) |
||||||||||||
|
i(xi ) |
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
1 |
|
(8 3,143)2 |
|
|
|
||||
|
53 |
|
|
1 |
|
|
|
13,26 |
|||||||
|
7 |
|
10,857 |
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Сравним ее с предполагаемым снижением издержек производства, т.е. 250- 288,93=-38,93:
t |
38,93 |
2,93. |
|
12,26 |
|||
|
|
Поскольку оценивается только значимость уменьшения затрат, то используется односторонний t- критерий Стьюдента. При ошибке в 5 % с n 2 5 tтаб. 2,015, поэтому предполагаемое уменьшение затрат значимо отличается от прогнозируемого значения при 95 % - ном уровне доверия. Однако, если увеличить вероятность до 99%, при ошибке 1 % фактическое значение t – критерия оказывается ниже табличного 3,365, и различие в затратах статистически не значимо, т.е. затраты соответствуют предложенной регрессионной модели.
Вопросы и задания для самоконтроля
1.Каков экономический смысл коэффициента регрессии?
2.Какой смысл может иметь свободный коэффициент уравнения ре-
грессии?
3.Какова связь между линейным коэффициентом корреляции и коэффициентом регрессии в линейной модели парной регрессии?
4.Каков статистический смысл коэффициента детерминации?
60