11. Распределение коэффициентов регрессии и корреляции

Пусть выполняются следующие предпосылки: соотношение между переменными в генеральной совокупности вы­ражается линейной регрессией;

возмущающая переменная и имеет нормальное распределение с математическим ожиданием и дисперсией ;

значения зависимой переменной y_i при фиксированных значениях объясняющих переменных x_k (k = 1, ..., т) распределены нормально или приблизительно нормально. Тогда оценки параметров регрессии b_k (k = 1, ..., т) распределены нормально с математическим ожида­нием и дисперсией . Отсюда следует, что величина

(2.1)

имеет стандартное нормальное распределение.

Поскольку дисперсия возмущающей переменной а также дис­персии оценок параметров регрессии неизвестны, вместо них ис­пользуем выборочные дисперсии и . Формула (2.1)'приобрета­ет вид:

(2.2)

Статистика (2.2) имеет t-распределение с п—т— 1 степенями сво­боды. Это следует учитывать особенно при малом объеме выборки.

Коэффициент корреляции вычисляется по результатам выборки. Поэтому его часто называют выборочным коэффициентом корреляции. Итак, коэффициент корреляции является функцией от выборки. Его значе­ния, вычисленные по результатам различных выборок, отличаются друг от друга. Следовательно, выборочный коэффициент корреляции представляет собой случайную величину с определенным распределе­нием вероятностей. Распределение коэффициента парной корреляции можно считать приближенно нормальным при выполнении следующих условий:

случайные переменные у и х имеют совместное нормальное или приближенно нормальное распределение;

корреляционная связь между переменными не очень тесная, т. е. коэффициент корреляции не слишком близок ± 1;

3) объем выборки достаточно велик.

Первое условие приводит к так называемой нормальной корреля­ции, при которой переменные соединены линейным соотношением. Плотность двумерного нормального распределения изображается в си­стеме координат поверхностью, называемой поверхностью нормаль­ного распределения (см. рис. 20, а). На рис. 20, а и 20, б параметры генеральной совокупности обозначены греческими буквами. В сече­нии нормальной поверхности распределения плоскостями, параллель­ными координатной плоскости xOz, получаются кривые распределения случайной переменной х, соответствующие определенным значениям у. Аналогично в сечении нормальной поверхности распределения плоско­стями, параллельными координатной плоскости yOz, получаются кри­вые распределения переменной у, соответствующие определенным зна­чениям х. Кривые распределения отличаются друг от друга лишь своей крутизной. Они являются графическими изображениями условных рас­пределений соответственно переменных х и у при фиксированных зна­чениях у их. Если спроецировать на плоскость хОу средние значения условных распределений переменной х и соединить линией полученные точки, то образованная таким образом линия будет называться линией регрессии х на у. Сопряженная с ней линия регрессии у на х является множеством точек, соответствующим средним значениям условных рас­пределений переменной у.

Пересекая поверхность распределения плоскостями, параллельны­ми координатной плоскости хОу, в проекции на этой плоскости полу­чаем семейство концентрических эллипсов различных размеров с оди­наковой ориентацией главных осей и с общим центром в точке с коор­динатами и . Их называют эллипсами рассеяния. Точка пересече­ния линий регрессии у на х и х на у совпадает с центром эллипсов рас­сеяния. Вследствие симметричности нормального распределения линии регрессии делят площадь эллипсов пополам (см. рис. 20, б).

Точное распределение выборочного коэффициента частной корре­ляции такое же, как и обычного коэффициента парной кор­реляции, вычисленного по выборке объема п — k, где k — число ис­ключенных переменных. При перечисленных выше условиях его мож­но также аппроксимировать нормальным. Распределения коэффициен­та множественной корреляции, корреляционного отношения и ин­декса корреляции, напротив, даже при выборках сравнительно боль­шого объема сильно отличаются от нормального.

По второму условию с увеличением интенсивности корреляционной связи сходимость распределения выборочного коэффициента корре­ляции к нормальному уменьшается. Распределение выборочного ко­эффициента корреляции становится все более асимметричным. Р. Фи­шер указал нормализующее преобразование случайной величины z, благодаря которому распределение г может быть приближенно приве­дено к нормальному:

, (2.3)

где In — (натуральный) логарифм с основанием е (е = 2,71828...); lg — десятичный логарифм (логарифм с основанием 10). При r = ± \ соответственно z = ± ∞. При r = 0 получаем z = 0.

Р. Фишер показал, что распределение величины z, отдельные реа­лизации которой определяются соотношением (2.3), при п → ∞ асимптотически нормально с параметрами

(2.4)

(2.5)

Даже при небольших п приближение достаточно хорошее. Как видно из (2.5), стандартное отклонение зависит не от величины параметра р (коэффициента корреляции генеральной совокупности), а только от объема выборки п. С увеличением объема выборки становится мень­ше. Значения z-преобразования Фишера могут быть определены с помо­щью таблицы логариф­мов. Обратный пересчет z в r проводят с помо­щью соотношения , (2.6)

где tanh z — гиперболи­ческий тангенс от аргу­мента z, его можно опре­делить по таблице лога­рифмов либо с помощью соотношения

(2.7)

При невыполнении третьего условия, т. е. когда объем выборки n мал, распределение выборочного коэффициента корреляции сильно отличается от нормального, что видно из рис. 21. Если р ≠ 0, то с уменьшением объема выборки увеличивается асимметричность распределения r. Это осложняет проверку надежности выборочного коэффициента корреляции.

Если коэффициент корреляции р двумерного нормального распре¬деления равен нулю (р = 0), то в этом случае статистика

(2.8)

имеет t - распределение с n - 2степенями свободы.