Работа 7. Простая линейная регрессия

Основные понятия. Диаграмма рассеяния. Зависимые и независимые переменные. Предположения регрессионного анализа. Простая линейная регрессия y на x и x на y. Параметры регрессии и их МНК-оценки. Остатки. Остаточная сумма квадратов. Оценка дисперсии ошибок наблюдений. Коэффициент детерминации. Оценка коэффициента корреляции.

Литература. [1], гл. 19, § 1, 7;

[2], гл. 2, с. 30 - 36; [4,] с. 3 - 11.

Варианты заданий для работ 7 и 8.

173

2)вычислить оценки параметров линейной регрессии y на x: y = β0 + β1x и x на y: x = β0 + β1y , используя суммы квадратов Qy, Qx, Qxy.

3)нанести графики прямых регрессий y на x и x на y

на диаграмму рассеяния;

4) для линейной регрессии y на x вычислить остатки ei, i = 1, 2, …, n; остаточную сумму квадратов Qe = åei2 ;

оценку дисперсии ошибок наблюдений S2; коэффициент детерминации R2 и оценку коэффициента корреляции r; 5) для линейной регрессии y = β0 + β1x выписать:

используя формулу для расчета оценок в матричном виде. Сравнить результаты вычислений с оценками, полученными в п. 2);

6) ввести данные в пакет STATISTICA, выполнить пп.1) - 4), сравнить результаты расчетов и полученные графики, записать результаты в отчет.

Чтобы показать технику вычислений, рассмотрим пример расчета простой линейной регрессии с небольшим объемом данных.

Пример 6.1. Исходные данные в виде результатов наблюдений зависимой y и независимой x переменных следующие:

Решение. По исходным данным вычислим суммы квадратов Qy, Qx и сумму произведений Qxy; объем выборки n = 5.

Предварительно найдем средние значения:

175

x = 1n åxi = 15 (5,5 + 8,1+ 8,5 + 5,9 + 7,8) = 7,16;

y = 1n åyi = 15 (4 + 5,6 + 5,7 + 3,6 + 4) = 4,58;

Qx = å(xi - x)2 = åxi2 - n(x)2 = (5,52 + 8,12 + 8,52 + 5,92 + 7,82 )- - 5×(7,16)2 = 263,76 - 5×51,266 = 7,438 ;

Qy = å(yi - y)2 = åyi2 - n(y)2 = (42 + 5,62 + 5,72 + 3,62 + 42 )- - 5×(4,58)2 = 108,81- 5×20,976 = 3,928;

Qxy = å(xi - x)(yi - y) = åxi yi - nx y =

=(5,5× 4 + 8,1×5,6 + 8,5×5,7 + 5,9 ×3,6 + 7,8×4) -5 ×7,16 ×4,58 =

=168,25 - 5×7,16×4,58 = 4,286.

Оценки параметров линейной регрессии y = b0 + b1x :

b%1 = Qxy = 4,286 » 0,576;

Qx 7,438

b%0 = y - b%1 x = 4,58 - 0,576×7,16 » 0,454 .

Таким образом, уравнение линейной регрессии y на x имеет вид:

y = 0,454 + 0,576x .

Аналогично, оценки параметров линейной регрессии x на y:

x = b′0 + b1′ y ;

b%1¢ = Qxy » 1,091; b%¢0 = x - b%1¢ × y = 7,16 -1,091× 4,58 » 2,163 .

Qy

176

Уравнение линейной регрессии x на Y имеет вид:

x = 2,163 +1,091y .

Диаграмма рассеяния и прямая регрессии Y на x показаны на рис.6.3.

Для линейной регрессии Y на x вычислим остатки:

ei = yi - (b%0 + b%1xi ), i = 1,2,...,5 ; e1 = 4 - (0,454 + 0,576×5,5) = 0,378;

e2 = 5,6 - (0,454 + 0,576×8,1) = 0,480;

e5 = 4 - (0,454 + 0,576 ×7,8) = -0,947 .

Остаточная сумма квадратов:

Qe = (0,378)2 + (0,480)2 + (0,35)2 + (-0,25)2 + (-0,947)2 » 1,457 .

Оценка дисперсии ошибок наблюдений:

S2 = nQ-ek = 1,4575 - 2 » 0,486,

где k - число оцениваемых параметров, для простой линейной регрессии k = 2.

Коэффициент детерминации:

R2 = 1- Qe = 1- 1,457 » 0,629.

Qy 3,928

Оценка коэффициента корреляции:

177

Вычислим оценки параметров линейной регрессии y на x в матричном виде, используя формулу

где B - присоединенная матрица к матрице В, составленная из алгебраических дополнений к элементам матрицы В.

178

Постройте график исходных данных. Для этого можно воспользоваться меню Graphs-графики и выбрать необходимый тип графика.

В нашем примере воспользуйтесь двумерными диаграммами рассеяния (Stats 2D Graphs-Scatterplots) (рис.6.2).

Рис.6.2. Меню для построения диаграммы рассеяния

В диалоговом окне при помощи кнопки Variables (Переменные) выберите переменные, которые вы хотите отобразить графически, и необходимый тип графика.

На рис.6.3 показаны диаграмма рассеяния и прямая регрессии Y на х.

180

(воспользуйтесь кнопкой Variables). В качестве зависимой переменной (Dependent) выберите Y, в качестве независимой (Independent) - х.

После определения зависимых и независимых переменных на стартовой панели нажмите OK. Появится окно результатов вычислений (рис.6.5.).

Рис.6.5. Окно результатов множественной регрессии

В диалоговом окне Multiple Regression Results (Результаты множественной регрессии) просмотрите результаты оценивания в численном или графическом виде. Окно результатов регрессивного анализа имеет следующую структуру. Верх окна - информационный. Он состоит из двух частей: в первой части содержится основная информация о результатах оценивания, во второй - значимые стандартизованные регрессионные коэффициенты. Внизу окна - результаты множественной регрессии находятся функциональные кнопки, позволяющие всесторонне рассмотреть результаты анализа.

Остановимся вначале на информационной части окна, содержащей краткие сведения о результатах анализа, а именно:

∙ Dep.Var. - имя зависимой переменной Y;

182

∙No. of Cases - число случаев, по которым построена регрессия (5);

∙Multiple R - коэффициент множественной корреляции, описывающий степень линейной зависимости между Y и названными переменными. В случае простой линейной регрессии совпадает с коэффициентом корреляции;

∙R-square - RI - квадрат коэффициента множественной корреляции (коэффициент детерминации). Если регрессионная модель значима, то коэффициент детерминации равен той доли дисперсии ошибок наблюдений, которая объясняется регрессионной моделью. Коэффициент детерминации, вычисляется по формуле

R2 = 1− Qe ;

Qy

∙ Adjusted R-square: adjusted RI -

скорректированный коэффициент детерминации:

Qe

R2′ = 1− Qy(n − k ) ,

(n −1)

где n - число наблюдений; k - число оцениваемых параметров регрессионной модели; для простой линейной регрессии k = 2, так как определяются оценки двух параметров β0 и β1;

∙ Std. Error of estimate - среднее квадратичное отклонение ошибок наблюдений

183

∙Std. Error - стандартная ошибка оценки свободного члена D[b%0 ] ;

∙t(n – k) and p-value - значение t-статистики и вычисленного уровня значимости p.

t-статистика используется для проверки гипотезы

Н0 : β0 = 0:

- случайная величина, имеющая распределение Стьюдента с (n - k ) степенями свободы; tв - выборочное

значение t -статистики.

Если p > α , где α - заданный уровень значимости, то гипотеза H0 : b0 = 0 принимается.

В данном случае p = 0,823749,следовательно гипотеза H0 : b0 = 0 принимается;

∙ F - значение F-статистики.

F-статистика используется для проверки гипотезы

H0 : b1 = 0 .

Если гипотеза H0 : b1 = 0 верна, то F-статистика

имеет распределение Фишера с (k – 1) и (n – k) степенями свободы.

Гипотеза H0 принимается на уровне значимости α , если вычисленное значение F-статистики меньше F(1 – α)(k – 1, n – k) - квантили распределения Фишера порядка (1- a) . Если гипотеза H0 : b1 = 0 принимается, то

регрессионная модель незначима;

∙df - число степеней свободы F-статистики: (k – 1;

n – k).

∙p - вычисленный уровень значимости.

184

Вычисленный уровень значимости

статистики.

Если p < α, то гипотеза Н0: β1 = 0 отклоняется; если p > α, то гипотеза H0 : b1 = 0 принимается.

В данном примере p = 0,109278, следовательно,

(Результаты регрессии) на экране появится таблица с результатами анализа (рис.6.6).

Рис.6.6. Результаты регрессии

Во втором столбце таблицы (BETA) выводится стандартизованный коэффициент регрессии β01 :

где sx и sy - оценки среднеквадратических отклонений для переменных x и y. b01 показывает, насколько величин sy изменится в среднем зависимая переменная y при увеличении переменной x на sx единиц.

Стандартизованные коэффициенты регрессии - безразмерные величины.

185

Вслучае множественной регрессии стандартизованные коэффициенты регрессии используются для сравнения влияния на зависимую переменную факторов, имеющих различную размерность.

Вчетвертом столбце таблицы (B) приведены МНК-

войдите в меню Residual Analysis (Анализ остатков), нажав соответствующую кнопку в правой нижней части панели результатов вычислений (см. рис.6.5). Это меню представлено на рис.6.7.

186

Рис.6.8. График остатков

Остаточная сумма квадратовQe , сумма квадратов, обусловленная регрессией QR , и сумма квадратов отклонений зависимой переменной Y от среднего Qy

вычисляются при нажатии кнопки Analysis of Variance (Дисперсионный анализ) на панели результатов вычислений (см. рис.6.5.). Результаты дисперсионного анализа

приведены на рис.6.9.

Рис.6.9. Дисперсионный анализ

Втаблице (рис.6.9) приведены такие соответствующие значения числа степеней свободы df, средние квадраты, F-статистика для проверки гипотезы

онезначимости регрессионной модели и вычисленный уровень значимости р.

Вданном примере гипотеза о незначимости регрессионной модели по F-критерию также

принимается, так как р ≈ 0,11, что больше обычно задаваемого уровня значимости α = 0,05.

188

Таблица П1.2

189