10049

Лекция № 15 Элементы корреляционного анализа

Две случайные величины X и Y могут быть независимыми между собой, зависимыми строго функционально Y (X) или зависимыми статистически. При статистической зависимости между случайными

Сама статистическая зависимость описывается функциями условного распределения, например, для непрерывных случайных величин функциями

затруднено и малоэффективно. Чаще статистическая зависимость рассматривается в более простом виде, в виде функциональной зависимости числовых характеристик одной из величин от значения другой величины. Такая зависимость называется корреляционной и описывается функциями регрессии Yˆ(x) или Xˆ (y). Так например, наиболее часто используется регрессия в форме условного математического ожидания:

M(Y х) yfy (y x)dy Yˆ(x).

y

Корреляционная зависимость приближает статистическую зависимость функциональной зависимостью и имеет следующий вид:

Y Yˆ(x) .

регрессии она не должна быть большой, и не должна зависеть от переменной х. Построение таких функций регрессии является задачей регрессионного анализа.

90

Для приближенного построения функции регрессии будем искать наилучшее в определенном, но довольно широком, m-параметрическом

классе функций таким образом, что бы дисперсия

ошибки D( , 1, 2 ,.. m ) как функция от параметров k была минимальной. Такое приближение называется среднеквадратической регрессией в классе

называются выборочной среднеквадратической регрессией.

1. Эмпирическая линейная среднеквадратическая регрессия

Линейная регрессия является простейшей регрессионной моделью, согласно которой функция регрессии является линейной 2-х параметрической функцией:

уˆ(x) а вх,

где а,в- неопределенные коэффициенты, которые оценим по наблюдаемым

который является выборочным аналогом теоретического коэффициента корреляции Пирсона XY .

Построим коэффициенты а,в методом наименьших квадратов. Для этого найдем такие значения а,в, которые минимизируют сумму квадратов

91

Через выборочный коэффициент корреляции rxy , коэффициент в

среднеквадратической регрессии имеет одну из следующих форм:

2. Свойства линейной регрессии и коэффициента корреляции

Построенная выборочная линейная среднеквадратичная регрессия является простейшим приближение корреляционной зависимости, показывает тенденцию (тренд) этой зависимости и изображается прямой на корреляционном поле, наименее уклоняющейся от его точек. Прямая линия регрессии yˆ(x) а вх проходит через точку (х, у), отсекает от оси х отрезок а, и имеет угол наклона с тангенсом равным в, как это изображено на рис. 15.1.

Рис. 15.1 Прямая линейной среднеквадратической регрессии

Выборочный коэффициент корреляции rxy характеризует степень

корреляционной зависимости наблюдаемых величин Х и У и обладает следующими свойствами:

1)его значения по модулю не превышают единицы ( rxy 1),

2)для независимых Х и У коэффициент близок к нулю(rxy 0),

3)для линейно зависимых величин он близок к единице(rxy 1).

92

Геометрически он показывает «тесноту» корреляционного поля возле прямой линии регрессии, что иллюстрирует рис. 15.2 для различных значений коэффициента.

.

Рис. 15.2 Корреляционное поле для различных уровней корреляции величин

Из рис. 15.2 видно, что некоррелированной выборке

соответствует неориентированное шаровое корреляционное поле, с ростом rxy поле сжимается и ориентируется к прямой линии регрессии. Знак

коэффициента говорит о нарастающем или убывающем тренде зависимости.

Ошибки регрессии

остаточную дисперсию, которая тем меньше, чем выше коэффициент корреляции. Величина выборочной дисперсии De является статистической оценкой для дисперсии ошибки D( ), однако, это смещенная оценка.

Ошибки для коэффициентов регрессии вычисляются по формулам:

В корреляционном анализе также вводится понятие коэффициента

показывающем его прямую связь с коэффициентом корреляции.

Известно [9] распределение случайных величин, связанных с введенными выше коэффициентами при условии независимости величин

X и Y :

93

свободы.

Эти величины используется для построения критериев значимости

наблюдаемое значение критерия tnab с критическим значением tkr ( ). Если

tnab tkr ( ), то гипотеза принимается, что говорит о незначимости выборочного коэффициента корреляции, мало отличного от нуля. Если же tnab tkr ( ) , то гипотеза отвергается, то есть выборочный коэффициент

выборке коэффициент неслучайно отличен от нуля, а корреляционная зависимость между наблюдаемыми величинами существенна.

Аналогично строится критерий Фишера для проверки гипотезы

H0 {R2 0} о значимости коэффициента детерминации R2 :

если Fnab Fkr ( ), то гипотеза H0 принимается, т.е.R2 незначим.

Выводы критериев значимости rxy и R2 идентичны [9].

Значимость коэффициентов регрессии может быть оценена по критериям Стьюдента

Если введем следующие вектора x (1,x1,x2 ,...xm ), b (b0 ,b1,b2 ,.....bm )Т ,

то ее можно записать в векторном виде: yˆ(x) x b .

94

Введем матрицу измерений Х , вектор измерения y и переменных xi (1,x1i ,x2i ,...xmi ), а так же вектор регрессии yˆ :

Тогда вектор регрессии будет yˆ X b , а ошибки регрессии e y yˆ .

Построим оценки коэффициентов регрессии b методом наименьших квадратов, для чего рассмотрим суммарную ошибку регрессии

n ei2 eT e (y yˆ)T (y yˆ) (y X b)T (y X b).

i 1

Подберем такие коэффициенты b, при которых суммарная ошибка регрессии минимальна, для этого рассмотрим условие минимума:

Таким образом, оценка для коэффициентов регрессии - построена. Матрица, входящая в выражение для коэффициентов имеет вид средних перекрестных произведений:

Для построения критериев значимости воспользуемся известными статистиками:

95

bk tn m 1 ~ распределение Стьюдента с n m 1степенями свободы,

Sbk

степенями свободы. Задаваясь уровнем значимости проверяемой

незначимости переменной Хr в уравнении регрессии, такие переменные желательно исключить из модели регрессии. Аналогично проверяется гипотеза о значимости коэффициента детерминации H0 {R2 0}, соответствующей значимости всего уравнения регрессии в целом. Сравнивая

переменными Хr (мультиколлинеарности), отсутствием зависимости величины дисперсии ошибок De от переменных Хк и Y

(гетероскедастичности), отсутствием зависимости ошибок между собой (например, автокорреляции).

Мультиколлинеарность приводит к неустойчивости обращения матрицы W, а ее устранение возможно путем исключения из регрессионной модели малозначимых и сильнозависимых объясняющих переменных (факторов). Для такого исключения построим корреляционную матрицу

исключить из модели регрессии, если коэффициент детерминации при этом значимо не уменьшается.

Гетероскедастичность и автокорреляция могут быть установлены при помощи теста ранговой корреляции Спирмена и теста Дарбина-Уотсона соответственно [1]. Влияние этих нежелательных для качества регрессии факторов может быть ослаблено путем различного рода преобразования переменных регрессионной модели [9].

96