Практическое занятие 5. Множественный регрессионный анализ Модель множественной линейной регрессии

Она задается уравнением вида

(5.1)

где у –зависимая переменная, x₁ , x₂ ,…, x_k – объясняющие переменные,

-случайный член, ,₁,₂,…,_k – параметры, коэффициенты уравнении регрессии.

Требуется по данным наблюдений

I	х1	…	xk	y
1	х11	…	xk1	y1
2	х12	…	xk2	y2
. .	..	..	..	..
N	xkn	…	xkn	yn

оценить параметры ,_1,…, _k. Число наблюдений n во всяком случае не должно быть меньше k+1.

Для данных значений х_1i , х_2i , х_ki объясняющих переменных значение у_i зависимой переменной определяется реализацией _I случайного члена.

Предполагается, выполненными условия Гаусса-Маркова и предположение о нормальности распределения вероятности для .

Определение коэффициентов множественной линейной регрессии.

Пусть имеется выборка, состоящая из n наблюдении зависимой и объясняющих переменных у_i, х_i1, х_i2, х_in, i=1,2,…,n, для которых уравнение регрессии запишется в виде системы уравнений

. (5.2)

Определим векторы-столбцы и матрицу:

, , ,

Столбец у и матрица х содержат данные выборки. В столбце  записаны неизвестные коэффициенты, которые следует оценить по имеющейся выборке, -столбец случайных членов, которые ненаблюдаемые.

Используя эти обозначения, систему уравнений (5.2) можно записать в компактной матричной форме:

(5.3)

В модели множественной линейной регрессии метод наименьших квадратов представляет собой обобщение МНК для парной линейной регрессии. Оцененное уравнение множественной линейной регрессии

(5.4)

Запишем для всех наблюдений: , .

Их также можно записать в матричной форме:

. (5.5)

где столбцы , .

Определим столбец отклонений фактических значений у зависимой переменной у от ее значений , вычисленных по оцененному уравнению регрессии (5.4):

, .

Метод наименьших квадратов заключается в определении коэффициентов оцененного уравнения (5.4) из условия минимума суммы квадратов отклонений: .

Пример 5.1

В 2001 г. европейское мясное лобби размышляет на тему, стоит ли оказать давление на правительства стран – членов ЕС, чтобы новые слу­чаи заболевания губчатой энцефалопатией и болезнью Кройцфельда-Якоба не становились достоянием гласности. Безусловно, такое давление будет стоить недешево, и поэтому необходимо предварительно оценить полезность подобных действий. Оценивается зависимость у_t, (доли вегета­рианцев среди населения t-й страны ЕС) от x_1t (числа ставших известны­ми случаев инфицирования коров губчатой энцефалопатией) и x_2t (числа ставших известными случаев заболевания людей болезнью Кройцфельда-Якоба). Исследование проводится для T =15 стран.

Результаты оценивания по МНК (в скобках даны стандартные отклонения оценок коэффициентов):

у_t = 0,21 + 0,0030 x_1t + 0,0092 x_2t + e_t.

(0,045) (0,0016) (0,0050)

Т р е б у е т с я:

1) Проверить статистическую значимость коэффициентов уравнения при  = 0,05;

2) Определить, является ли константа значимо меньше 0,31;

3) Проверить совместную статистическую значимость переменных x₁ и x₂, если сумма квадратов ошибок составляет 0,0084, а дисперсия наблюдаемой переменной у – 0,0011.

Решение

1. Для проверки статистической значимости коэффициентов модели рассчитываются значения критерия Стьюдента по следующей формуле:

.

; ; .

Табличное значение критерия Стьюдента для доверительной вероятности 95% и числа степеней свободы =15-2-1=12 равно 2.179.

Поскольку , коэффициент является статистически значимым. и , следовательно, коэффициенты и статистически незначимы.

2.Тестируется нулевая гипотеза : >0.31. Рассчитаем:

.

Поскольку , нулевая гипотеза отклоняется, т.е. коэффициент является статистически значимо меньше, чем 0.31.

1. Рассчитаем коэффициент множественной детерминации по следующей формуле:

.

Определим теперь значение критерия Фишера.

табличное значение критерия Фишера для доверительной вероятности 95% и числа степеней свободы , равно 3.89. Так как F >F*, уравнение в целом статистически значимо.

Задание 5.1.Торговое предприятие имеет сеть, состоящую из 12 магазинов, информация о деятельности которых представлена в таблице 5.1.

Таблица 5.1

Номер ма­газина	Годовой товарооборот, млн. руб.	Торговая площадь, тыс. м2	Среднее число посе­тителей в день, тыс.чел.
1	19,76	0,24	8,25
2	38,09	0,31	10,24
3	40,95	0,55	9,31
4	41,08	0,48	11,01
5	56,29	0,78	8,54
6	68,51	0,98	7,51
7	75,01	0,94	12,36
8	89,05	1,21	10,81
9	91,13	1,29	9,89
10	91,26	1,12	13,72
11	99,84	1,29	12,27
12	108,55	1,49	13,92

Требуется построить диаграммы рассеяния годового товарооборота (у) в зависимости от торговой площади (x₁) и среднего числа посетителей в день (x₂) и определить форму связи между результирующим показателем (у) и каждым из факторов (x₁ и x₂).

Задание 5.2. На основании информации, приведенной в таблице 5.1 построено двухфакторное уравнение годового товарооборота в зависимости от торговой площади магазина ( ) и среднего числа посетителей в день ( ), которое выглядит следующим образом:

Т р е б у е т с я:

1) Дать экономическую интерпретацию коэффициентов уравнений регрессии.

2) На основании данных таблицы 5.1 рассчитать эмпирические коэффициенты эластичности годового товарооборота от торговой площади и от среднего числа посетителей.

3) На основании уравнений регрессии оценить частные коэффициенты эластичности годового товарооборота от торговой площади и от среднего числа посетителей.

Задание 5.3. Бюджетное обследование пяти случайно выбранных семей дали следующие результаты (млн.тенге)

семья	Накопления s	Доход у	Имущество w
1	3	40	60
2	6	55	36
3	5	45	36
4	3,5	30	15
5	1,5	30	90
Сумма	19	200	237
Средние	3,8	40	47,4

Требуется:

a) оценить регрессию s на y и w;

б)спрогнозируйте накопление семьи, имеющей доход 40млн.т и имущество стоимостью 25 млн.т.;

в)предполагая, что доход семьи возрос на 10млн.т., в то время как стоимость имущества не изменилась. Оцените, как возрастут ее накопления;

г) оцените как возрастут накопление семьи, если ее доход вырос на 5млн.т., а стоимость имущества увеличилась на 15млн.т.;

д) найдите сумму квадратов остатков и постройте дисперсии регрессии.

Задание 5.4. В следующей таблице приведены данные о ВВП, инвестициях и потреблении в млрд. долл. в некоторой стране за 5 лет. Сформулируйте модель множественной линейной регрессии зависимости ВВП от инвестиций и потребителя с постоянным членом и без него. Для обоих случаев составьте матрицу значений объясняющих переменных х и вектор значений зависимой переменной у. Оцените модели по методу наименьших квадратов.

ВВП	5	8	11	15	20
Инвестиции	1	2	2	3	4
Потребление	2	3	4	5	7

Задание 5.5. По данным предыдущей задачи вычислите стандартные ошибки коэффициентов уравнения регрессии и проверьте гипотезы о значимости коэффициентов.

Задание 5.6 По данным задачи 5.4 сделайте прогноз ВВП, постройте 95-процентный доверительный интервал для ожидаемого и индивидуального значений ВВП, если предполагается, что в следующем году инвестиции будут равны 5 млрд. долл., а потребление равно 9 млрд. долл.

Задание 5.7. Изменение спроса на некоторое благо (у) у домашних хозяйств определенной структуры можно объяснить с помощью цены этого блага (x₁) и дохода домохозяйства (х₂). Соответствующая информация представлена в таблице 5.2.

Таблица 5.2

yt	31,4	30,4	32,1	31,0	30,5	29,8	31,1	31,7	30,7	29,7
x1t	4,1	4,2	4,0	4,6	4,0	5,0	3,9	4,4	4,5	4,8
x2t	1050	1010	1070	1060	1000	1040	1030	1080	1050	1020

Т р е б у е т с я:

1)Оценить с помощью МНК параметры линейного двухфакторного уравнения у_t = ₀ + ₁x_1t + ₂x₂+ _t и интерпретировать оценки;

2) Оценить дисперсию ошибки ;

3) Рассчитать оценку математического ожидания при x₁ = 5,5 и х₂=980.

Задание 5.8. Изменение спроса на некоторое благо (у) у домашних хозяйств определенной структуры можно объяснить с помощью цены этого блага (х₁) и дохода домохозяйства (х₂). Соответствующая информация представлена в таблице 5.2. (см. задание 5.7).

Т р е б у е т с я:

Построить однофакторные уравнения спроса у от цены (х₁) и от дохода (х₂). Оценить с помощью МНК параметры этих уравнений;

Задание 5.9. На основании данных из задания 5.7 построено двухфакторное уравнение регрессии. Установлено, что ошибки _t этого уравнения имеют нормальное распределение.

Т р е б у е т с я:

1) Определить одномерные 95%-е доверительные интервалы для параметров регрессии ₀, ₁ и _2;

2) Определить 95%-й доверительный интервал дисперсии ошибки .

Задание 5.10.На основании данных из задания 5.7 с помощью МНК построено двухфакторное уравнение регрессии. Установлено, что ошибки _t этого уравнения имеют нормальное распределение.

Ранее было проведено исследование, которое дало для параметров регрессии следующие оценки: ₀₀ = 13,311; ₁₀ = –1,4896 и ₂₀ = 0,022998.

Требуется при уровне значимости = 0,025 проверить гипотезу, что структура модели не изменилась.

Задание 5.11. На основе квартальных данных с 1971 по 1976г. c помощью метода наименьших квадратов получено следующее уравнение

В скобках указаны стандартные ошибки, RSS=110.32, ESS =21.43.

а) проверьте значимость каждого из коэффициентов;

б)найдите коэффициент детерминации;

в) протестируйте значимость регрессии в целом.

Задание 5.12. Дана стандартная двумерная регрессионная модель , .

а) Чему равна МНК-оценка коэффициента β при ограничении α=0?

б) Чему равна дисперсия оценки в а) покажите, что она меньше, чем -дисперсия МНК-оценки в регрессии без ограничения. Противоречит ли это теореме Гаусса-Маркова?

Контрольные вопросы

1. Приведите уравнение множественной линейной регрессии в матричной форме.

2. Сформулируйте теорему Гаусса- Маркова.

3. Каким образом проверяется значимость коэффициентов модели линейной регрессии.

Практическое задание 6. Гетероскедастичность, автокорреляция случайного члена

Гетероскедастичность. Вторым условием Гаусс-Маркова регрессионного анализа является предположение о постоянстве дисперсии случайного члена для всех наблюдений (гомоскедастичность-«гомос»-равный, одинаковый), т.е. , ( ). Это значит, что для каждого значения объясняющей переменной случайные члены имеют одинаковые дисперсии .

Если это условие не соблюдается, т.е. дисперсия случайного члена меняется от наблюдения к наблюдению то имеет место гетероскедастичность («гетерос»-разный, другой).

При гетероскедастичности коэффициенты регрессии будут несмещенными, но неэффективными. Вследствие этого окажутся завышенными t –статистики, и будут сделаны неверные выводы о значимости коэффициентов уравнения регрессии.

Существуют различные способы выявления гетероскедатичности.

Тесты на гетероскедастичность. Существует несколько тестов на гетероскедастичность. Во всех этих тестах проверяется основная нулевая гипотеза о равенстве дисперсий (наличие гомоскедастичности, отсутствие гетероскедастичности) против альтернативной гипотезы не

Тест ранговой корреляции Спирмена

При выполнении теста ранговой корреляции Спирмена предполагается, что дисперсия случайного члена будет либо увеличиваться, либо уменьшается по мере увеличения х, и поэтому в регрессии, оцениваемой с помощью МНК, абсолютные величины остатков и значения х будут коррелированы. Данные по х и остатки упорядочиваются, и коэффициент ранговой корреляции определяется как

,

где -разность между рангом х и рангом е.

Если предположить, что коэффициент корреляции для генеральной совокупности равен нулю, то коэффициент ранговой корреляции имеет нормальное распределение с математическим ожиданием 0 и дисперсией 1/(n-1) в больших выборках. Следовательно, соответствующая тестовая статистика равна , и при использовании двухстороннего критерия нулевая гипотеза об отсутствии гетероскедастичности будет отклонена при уровне значимости в 5%, если она превысит 1,96, и при уровне значимости в 1%, если она превысит 2,58. Если в модели регрессии имеется более одной объясняющей переменной, то проверка гипотезы может выполняться с использованием любой из них.

Автокорреляция. Если 3-е условие Гаусса-Маркова – условие независимости случайного члена в любом наблюдении от его значений во всех других наблюдениях не выполняется, т.е. , , то возникает явление автокорреляции, т.е. говорят, что случайный член подтвержден автокорреляции.

В этом случае коэффициенты регрессии, получаемые по методу наименьших квадратов оказывается хотя и несмещенными, но неэффективными, а их стандартные ошибки рассчитываются некорректно, т.е. занижаются.

Автокорреляция обычно встречается в регрессионном анализе при использовании данных временного ряда.

Необходимым условием независимости случайных членов является их некоррелированность для каждых двух соседних значений.

Пусть -коэффициент корреляции между соседними случайными членами и .

Если : , то автокорреляция положительная;

, то автокорреляция отрицательная;

, то автокорреляция отсутствует и 3-е условие Гаусса-Маркова выполняется.

Для проверки нулевой гипотезы используют статистику Дарбина-Уотсона, которая рассчитывается по формуле:

, 0≤DW≤4,

Если автокорреляция отсутствует, т.е. , то .

При положительной автокорреляции т.е. r>0 имеем 0≤DW≤2.

При отрицательной автокорреляции, т.е. r<0 соответственно .

Пример 6.1 Пусть оценена парная регрессия по n=15 наблюдениям и DW=d=0,9. Зададим уровень значимости (т.е. 5%) и найдем по таблице для Т=15 =1,077 и . Поскольку , то отклоняется и принимается гипотеза о положительной автокорреляции остатков.

Задание 6.1. Используя данные таблицы, постройте линейную модель зависимости потребительских расходов от валового регионального продукта на душу. Проведите тесты на наличие гетероскедастичности. В случае обнаружения гетероскедастичности примите меры для ее устранения или корректировки стандартных ошибок коэффициентов.

Таблица 6.1

Х	3	6	9	12	15
р	0,1	0,3	0,4	0,1	0,1

Задание 6.2. В таблице 6.2 приведены данные для экономики Казахстана за 1995-2004 годы по добыче нефти, включая газовый конденсат (X) , реальному объему ВВП (Y), (базовый год 1994). Построить линейную модель зависимости реального ВВП от объема добычи нефти. Выполнить тесты на наличие гетероскедастичности.

Таблица 6.2

Т	Х	У
1995	20,4	389
1996	21,1	391
1997	23,4	397
1998	23,8	390
1999	30,1	400
2000	35,3	440
2001	40,1	499
2002	47,3	548
2003	51,5	599
2004	59,5	656

Задание 6.3. Получено оцененное уравнение регрессии с 5 объясняющими переменными по 36 наблюдениям. Вычисленное значение статистики Дарбина –Уотсона равно 2.23. Выполните тест на наличие автокорреляции, используя таблицы статистики Дарбина -Уотсона при 5-процентном и 1-процетном уровне значимости.

Таблица 6.3

годы	U	π
1	9,2	5,6
2	8,9	5,8
3	8,6	6,2
4	7,5	6,8
5	6,8	7,4
6	6,2	7,3
7	7,3	7,2
8	7,8	7,9
9	7,1	8,5
10	7,5	8,2

Задание 6.4. Используя данные из таблицы, исследователь оценивает регрессионную зависимость выпуска продукции обрабатывающей промышленности на душу населения в 1970г.(М) от валового внутреннего продукта на душу населения в том же году (как М, так и G измеряются в долларах США) и получает формулу (в скобках приводятся стандартные ошибки):

; R²=0,69.

1. Изобразите диаграмму рассеяния, используя данные из таблицы, и объясните, почему исследователь может подозревать наличие гетероскедастичности.

2. Как гетероскедастичность будет влиять на свойства оцениваемых коэффициентов?

Контрольные вопросы:

1. Как можно обнаружить гетероскедастичность?

2. Что такое гомоскедастичность?

3. Объясните, почему при гетероскедастичности коэффициенты регрессии будут несмещенными и неэффективными.

4. Какие способы выявления гетероскедатичности, вы знаете?

5. При каких условиях возникает явление автокорреляции?

6. В чем заключается разница между положительной автокорреляцией и отрицательной автокорреляцией?

7. В чем заключается метод Дарбина-Уотсона?

Практическое занятие 7. Временные ряды

Совокупность наблюдений , ,…, анализируемой величины произведенных и последовательные моменты времени , , …, называется временным рядом.

Cуществуют два основных подхода к моделированю временных рядов, первый из них анализ трендов и сезонности. Это достаточно простой, интуитивный подход к оцениванию базовых компонентов временного ряда. Второй подход основан на авторегрессионных интегрированных моделях скользящего среднего. Оценивание таких моделей и получение на их основе прогнозов требует значительного использовании математического аппарата и компьютерных вычислений.

В методе анализа трендов и сезонности выделяются основные компоненты временного ряда: долгосрочный тренд, сезонность, циклические колебания и нерегулярная компонента.

Тренд показывает долгосрочное поведение временного ряда. Обычно тренд имеет форму прямой линии, экспоненты или параболы.

Задание 7.1. В таблице 7.1 даны квартальные данные производства товаров в экономике Казахстана

Таблица 7.1

год	квартал	Производство товаров в процентах к предыдущему кварталу
1996	I	71,2
	II	103,2
	III	135,5
	IV	94,8
1997	I	70,5
	II	108,5
	III	157,8
	IV	82,2
1998	I	73,7
	II	112,8
	III	127,4
	IV	85,9
1999	I	79,8
	II	116,1
	III	141,4
	IV	86,4
2000	I	77,2
	II	122,4
	III	139,3
	IV	80,1

Проведите анализ трендов и сезонности и постройте прогноз для производства товаров в экономике РК в 2001 году. Сравните прогнозные квартальные значения этого показателя с его фактическими значениями по данным Агентства РК по статистике.

Задание 7.2. В таблице 7.2 содержатся квартальные индексы по экспорту товаров и услуг из Казахстана за 1996-2000 годы, квартал к соответствующему кварталу предыдущего года.

Таблица7.2

год	квартал	Экспорт товаров и услуг в процентах к соответствующему кварталу предыдущего года.
1996	I	131,8
	II	102,2
	III	87,3
	IV	99,6
1997	I	105,5
	II	84,4
	III	108,6
	IV	107,4
1998	I	102,0
	II	104,1
	III	74,1
	IV	77,2
1999	I	53,4
	II	83,9
	III	137,4
	IV	147,7
2000	I	262,3
	II	152,3
	III	86,7
	IV	96,9

Проведите анализ трендов и сезонности и постройте прогноз для производства товаров в экономике РК в 2001 году. Сравните прогнозные квартальные значения этого показателя с его фактическими значениями по данным Агентства РК по статистике.

Контрольные вопросы:

1.Что называется временным рядом?

2. Какие временные ряды бывают по времени наблюдения ?

3. Какие типы временных рядов, вы знаете?

4.Что такое тренд?

5. Какие существуют методы анализа временных рядов?

6.Назовите наиболее часто встречающиеся формы тренда.