6. Регрессионный анализ

Во многих случаях исследуются объекты, характеризующиеся несколькими признаками. Например, у каждого человека можно измерить рост, вес, частоту пульса и ряд других физиологических показателей; работу торгового предприятия можно оценить по объему товарооборота и величине прибыли. Совокупность данных такого типа представляет выборку из многомерной генеральной совокупности. Для таких выборок важно не только определение характеристик распределения каждого признака, но и то, насколько тесно эти признаки связаны между собой, можно ли по значению одного признака сделать какиелибо выводы о предполагаемом значении другого признака и т.д.

При построении регрессионной модели, описывающей зависимость переменной Y от независимых переменных (факторов) x1, x2, … xm, предполагается, во-первых, что у исследователя имеются результаты совокупных наблюдений зависимой переменной Y и независимых переменных x1, x2, …, xm, во-вторых, что значения независимых переменных определяются точно (без ошибок), а значение зависимой переменной Y определяется с ошибками, имеющими случайный характер.

Регрессией (уравнением регрессии) называется условное математическое ожидание Y:

M[Y / x1, x2 , ..., xm ] = f (x1, x2 , ..., xm ) .

Таким образом, регрессия описывает поведение наблюдаемой зависимой переменной в среднем, представляя ее главную тенденцию. В связи с этим

157

нахождение регрессии по результатам наблюдений называют сглаживанием данных.

Существуют различные регрессионные модели, определяемые выбором функции f (x1, x2 , ..., xm ) :

∙простая линейная регрессия:

Y= β0 + β1x + ε ;

∙множественная регрессия:

Y= β0 + β1x + β2 x2 + ...+ βk −1xk −1 + ε ;

∙полиномиальная регрессия:

Y= β0 + β1x + β2 x2 + ...+ βk−1xk −1 + ε ;

регрессионная модель общего вида:

функции факторов.

Коэффициентыβ0 ,β1 …, βk-1 называются

параметрами регрессии.

В приведенные регрессионные модели параметры β0 ,β1 …, βk−1 входят линейно. Такие модели называют

линейными (по параметрам) моделями, а

математические методы анализа этих моделей -

линейным регрессионным анализом.

Модель y = β0εβ1x1 +β1εβ2x2 нелинейна по параметрам.

В некоторых случаях нелинейные модели с помощью специальных линеаризирующих преобразований могут быть представлены как линейные. Рассмотрим несколько примеров.

1. Функция y = β0 xβ1 с помощью логарифмирования и замены переменных преобразуется так: lny = lnβ0 +

158

y′ = b0 + b1x .

После выбора вида регрессионной модели, применив результаты наблюдений зависимой переменной и факторов нужно вычислить оценки (приближенные значения) параметров регрессии, а затем проверить значимость и адекватность модели результатам наблюдений.

6.1. Коэффициент корреляции и простая линейная регрессия

Пусть ( xi , yi ), i = 1, 2, 3, ..., n - выборка наблюдений

из двумерной генеральной совокупности. Начальное представление о генеральной совокупности можно получить, изображая элементы выборки как точки на плоскости. Такое представление выборки называется

диаграммой рассеяния.

При построении диаграммы рассеяния рекомендуется масштабы по осям X и Y выбирать так, чтобы значения обоих признаков укладывались на отрезках приблизительно равной длины.

159

где

функциональная линейная зависимость, все точки (xi, yi) будут лежать на прямой (рис.6.1,д);

3) если ρ = 0 , то говорят, что X и Y

некоррелированы, т.е. между ними нет линейной зависимости (см. рис.6.1, в - г);

4) если X и Y имеют двумерное нормальное распределение, то из равенства ρ = 0 следует, что они

статистически независимы.

Если между случайными величинами X и Y существует достаточно тесная линейная статистическая зависимость ( r > 0) , то ее можно аппроксимировать

уравнением линейной регрессии Y на X:

Y = β0 + β1x,

где β0 и β1 - параметры линейной регрессии; x -

независимая переменная; Y - зависимая переменная. При этом предполагается, что независимая переменная x

161

измеряется точно, а Y является случайной величиной. Таким образом, исследуют, как "в среднем" изменяются значения зависимой переменной Y при изменении независимой переменной x.

В тех случаях, когда признаки X и Y равнозначны (например, рост и вес), аналогично регрессии Y на X

Если случайный вектор (X, Y) имеет двумерное нормальное распределение, то линейная регрессия Y на X равна условному математическому ожиданию

ожидания и средние квадратические отклонения X и Y; ρ

- коэффициент корреляции.

Для оценки параметров линейной регрессии Y на X по результатам наблюдений ( xi , yi ), i = 1, 2, 3, ..., n, используется метод наименьших квадратов: в качестве

162

получают оценки параметров регрессии Y на X:

Оценки (6.1) и (6.2) называют МНК-оценками параметров линейной регрессии.

Аналогично для регрессии X на Y оценки параметров вычисляются по формулам

друг другу.

Между коэффициентом корреляции и параметрами регрессии имеются следующие соотношения:

163

Проведем статистический анализ простой линейной регрессии.

Простая линейная регрессия определяется уравнениями

yi = b0 + b1xi + ei , i = 1, 2, ..., n ,

где x1, x2 ,..., xn - значения независимой переменной x, а y1, y2 ,..., yn - соответствующие им значения зависимой переменной Y, полученные как результаты независимых экспериментов или наблюдений; ei - ошибки наблюдений

зависимой переменной, имеющие случайный характер. В регрессионном анализе предполагается, что

случайные величины ei и e j , i ¹ j , i, j = 1, 2, ..., n

некоррелированы, имеют нулевое математическое ожидание M [ei ] = 0 и постоянную дисперсию D[ei ] = s2 ,

i = 1, 2, ..., n .

При статистическом анализе регрессионной модели предполагается также, что случайные ошибки наблюдений имеют нормальное распределение:

ei ~ N (0,s2 ), i = 1, 2, ..., n .

В этом случае ei будут независимыми случайными

величинами.

Задача линейного регрессионного анализа состоит в том, чтобы по результатам наблюдений

(xi , yi ), i = 1, 2, ..., n :

∙ получить наилучшие точечные и интервальные оценки неизвестных параметров b0 , b1 и s2 ;

164

∙проверить статистические гипотезы о параметрах модели;

∙проверить, достаточно ли хорошо модель согласуется с результатами наблюдений (адекватность модели результатам наблюдений).

Оценки параметров линейной регрессии (6.1) и (6.2), получаемые по методу наименьших квадратов, при любом законе распределения ошибок наблюдений

2) имеют минимальные дисперсии в классе несмещенных оценок, являющихся линейными функциями результатов наблюдений (теорема Гаусса - Маркова).

Если ошибки наблюдений ei некоррелированы и имеют нормальное распределение, т.е. ei ~ N (0, s) , то к

свойствам 1 и 2 добавляется следующее свойство.

3) МНК-оценки совпадают с оценками,

вычисляемыми по методу максимального правдоподобия.

(эмпирическую) регрессию Y на x, которая является оценкой предполагаемой (теоретической) линейной регрессии по результатам наблюдений. Разности между наблюдаемыми значениями переменной Y при

называются остатками и обозначаются ei :

ei = yi - y%i , i = 1, 2, ..., n.

165

определяется величиной остаточной дисперсии, вычисляется по формуле

квадратов.

Если модель согласуется с результатами наблюдений (адекватна результатам наблюдений), то остаточная дисперсия является несмещенной оценкой

дисперсии ошибок наблюдений s2 , т.е. M éëS2 ùû = s2 . Всюду в дальнейшем будем предполагать, что

предположение эквивалентно тому, что результаты

Yi ~ N (b0 +b1xi , s), i = 1, 2, ..., n.

В этом случае можно показать [13, 22] , что статистика Qe s2 имеет распределение l2 с (n – 2)

166

степенями свободы, т.е. Qs2e = l2 (n - 2) , и эта статистика

распределена независимо от распределения оценок b%0

иb%1 . Используя это утверждение, можно построить

доверительные интервалы для параметров линейной регрессии.

Доверительные интервалы для параметров имеют вид:

где t(n−2) - квантиль распределения Стьюдента с (n – 2)

1−α 2

степенями свободы порядка 1- a 2 ; S - оценка среднего

дисперсия оценки параметраb%i , i = 0,1.

Доверительный интервал для дисперсии ошибок наблюдений s2 имеет вид:

степенями свободы порядка p; S2 - оценка дисперсии ошибок наблюдений.

В практических вычислениях остаточную сумму квадратов получают из тождества

167

å( yi - y )2 = å( y%i - y)2 + å( yi - y%i )2 ,

которое записывается в виде

Qy = QR + Qe ,

где

Qy = å( yi - y)2 = åyi2 - ny2 ;

Величина QR называется суммой квадратов,

обусловленной регрессией.

Линейная регрессионная модель называется

незначимой, если b1 = 0 .

Для проверки гипотезы H0 : b1 = 0 используют либо доверительный интервал для параметра b1 , либо статистику

имеет распределение Фишера с 1 и (n – 2) степенями свободы.

В противном случае гипотеза H0 отклоняется.

Если гипотеза H0 : b1 = 0 отклоняется, говорят, что регрессионная модель статистически значима. Из этого

168

не следует, конечно, что модель хорошо согласуется с результатами наблюдений, т.е. адекватна им.

Полезной характеристикой линейной регрессии

является коэффициент детерминации R2 , вычисляемый по формуле

В случае линейной регрессии Y на x (одной независимой переменной x) между коэффициентом R и выборочным коэффициентом корреляции rxy имеется

следующее соотношение:

rxy = (знак β%1 )R.

Напомним, что коэффициент ρxy определяет

степень линейной зависимости между случайными величинами X и Y.

Линейная регрессионная модель называется адекватной, если предсказанные по ней значения переменной Y согласуются с результатами наблюдений. Грубая оценка адекватности модели может быть проведена непосредственно по графику остатков, т.е. разностей между наблюдаемыми значениями yi и

169

вычисленными значениями y%i , i = 1,2,...,n. Если модель адекватна, то остатки ei являются реализациями случайных ошибок наблюдений εi , i = 1,2,...,n , которые в

силу предположений должны быть независимыми нормально распределенными случайными величинами с

нулевыми средними и одинаковыми дисперсиями σ2 . Проверка выполнения этих предположений различными статистическими методами и лежит в основе оценки адекватности по графику остатков.

Если регрессионная модель адекватна результатам наблюдений, то она может быть использована для определения прогноза y% при заданном значении

независимой переменной x = x0 .

Доверительный интервал для прогноза среднего значения Y при x = x0 определяется по формуле

а доверительный интервал для прогноза индивидуального значения Y вычисляется по формуле

где y% (x0 ) = β%0 + β%1x0 .

Проведем регрессионный анализ в матричном виде. Введем следующие обозначения:

170

Тогда простая линейная регрессия определяется матричным уравнением

Y = Aβ + ε.

Метод наименьших квадратов дает оценкуβ , определенную формулой

b% = (AT A)−1 AT Y ,

где AT - матрица, транспонированная к матрице A ; AT A = B - информационная матрица; B−1 = (AT A)−1 - матрица,

п.6.2).

Сумма квадратов, обусловленная регрессией, определяется по формуле

QR = bT AT Y - n( y )2 .

Остаточная сумма квадратов: Qe = Qy - QR.

171

Оценка ковариационной матрицы K оценок параметров регрессии вычисляется по формуле

K= S2 (AT A)−1 = S2B−1 ,

адисперсии оценок параметров - диагональные элементы матрицы K:

где bii - диагональные элементы матрицы B−1 .

172