государственныйш

информатики

и

Лекция 17

й

и

е

Линейная регрессия и корреляция

радиоэлектроники

с

к

и

е

Белорусский

ы

и

Статистической зависимостью между случайными величинами X и Y -

университет

В

т

f, ко-

составляющими двумерной случайной величины (x, y) называется закон

M (Y / X = x) =

y f ( y / x) dy

. Зависимости такого рода называютсягосударственныйрегрессионш

-

торый каждому числу

x

ставит в соответствие условный закон распределения

−∞

информатики

й

составляющей

Y, т.е.

аf ( y / x) . Частным случаем такой зависимости является

зависимость

м

x

и

условным

математическим

ожиданием

между

е

д

∞

к

е∫

радиоэлектроники

с

т

Белорусский

а

фзависимостями.

∫

университет

ы

и

ными

В

К

Уравнениема

регрессии Y на X называется уравнение

т

м

∞

а

M (Y / X = x) = y f ( y / x) dy =ϕ(x) .

м

Уравнением регрессии X на Y

−∞

д

называется уравнение

M ( X / Y = y)

=

∞

ф

е

е

−∞

∫x f (x / y) dx =ϕ( y) .

а

т

К

позволяют делать «то-

Уравнение регрессии вида M (Y / X = x)=ϕа(x)

м

чечное» предсказание условных математических ожиданий составляющей Y

с.в. (x, y) по значению составляющей

X = x . Однако для такого прогноза не-

государственныйш

ло, неизвестен. В распоряжении экспериментатора имеется только выборка

объема

n

(xi , yi

). Если нанестии

эти точки на плоскость XOY ,

то получим

информатики

й

корреляционное поле. Первая проблема регрессионного анализа – это установ-

и

ление формы зависимости междуевеличинами X и Y.

Мы будем рассматривать только линейный регрессионный анализ. Ли-

являютсярадиоэлектроникилинейными.

к

государственныйш

нейным он называется потомус , что изучает лишь те виды зависимостей, кото-

Белорусский M (Y / X = x)

= a + a1

, M (Y / X = x)= a + a x +a x2

й

университет

ы

и

x

рые линейны по оцениваемым параметрам, хотя могут быть нелинейны по x.

В

т

Например, зависимости

и

Приближенноед

выражение функции регрессии, полученноеинформатикина основаниис

а

0

0

1

2

е

м

радиоэлектроники

к

м

а

е

е

университет

Выборыклассаиэм-

выборки будем называть эмпирической функцией регрессии.

пирическойф

т

В

т

функции регрессии может быть сделан исходя из:

К

а

а)

визуальной оценки характера расположения точек (x , y )

а

на корреля-

ционном поле;

д

м

б)

соображений теоретического характера.

е

е

Иногда одновременно

эмпирических

используют различные

классы

ф

т

функций регрессии и на заключительном этапе путем проверки адекватности

модели оставляют лучшую.

К

а

а

м

квадратов.

государственныйш

к

и

Пусть вид зависимости установлен:

информатики

й

M (Y / x)

е

и

=

f

(x, a0 , a1 ,..., am ).

Для нахождения неизвестных параметров применяют метод наименьших

радиоэлектроники

с

∂a

= 0

е

Белорусский

S = n

e2 = n и(y

− f (x , a , a ,..., a )2 = min .

университет

∑

ыi

∑

i

∂S

0

1

m

i

е

е

В

т

∂S

= 0

государственныйш к

i=1

i=1

Получаем систему уравнений

и

м

а

информатики

й

д

0

радиоэлектроники

с

∂am

ф

т

∂a1

университет

ы

и

К

а

а

∂S

В

т

= 0.

м

м

Отметим, что оценки, получаемые этим методом, являются несмещенны-

д

ми, обладают наименьшей дисперсией и состоятельны: можно показать, что

при более «сильных» предположениях они совпадаютес оценкамие

, полученны-

ми по методу максимального правдоподобия.

а

ф

т

В качестве примера функции регрессии рассмотрим линейную функцию

yx =α + β x.

К

м

а

n

2

=

n

2

S(α, β)= ∑(yi − yi )

∑

(yi −α − β xi ) .

i=1

i=1

∂S

государственныйш

∂α

= 2 n

(y −α

− β x )

(−1)= 0

α n + β n

x =

y

∑

i

и

i

∑ i

∑ i

информатики

й

i=1

i=1

∂S

i=1

n

n

n

n

=

2

∑

i

i

е

и

α

∑ i

+ β

∑ i

∑ i

i

i

∂β

i=1

(y

−α − β x )

(− x )= 0

x

x

2 =

x y .

с

к

i=1

i=1

i=1

y

вокруг функции

f (x, a

государственный, a ,..., a ) являетсяш

Меройрадиоэлектроникирассеивания всех

Решив ее, найдем

α

и

β .

Белорусский

ы

x =α

′

+

β

′

y

минимизацииуниверситетсуммы квадратов отклонений по горизонтали.

е

Отметим, что регрессионныеи

прямые

y

=α + β x

и

раз-

В

т

и

личны. Первая прямая получаемая в результате решения задачи о минимизации

д

а

информатики

суммы квадратов отклонений по вертикали, а вторая – при решении

задачи ой

м

i

0

1