Гусев / Методы научных исследований

Если две случайные величины независимы, то дисперсия их суммы равна сумме дисперсий [5]:

= M [X − M {X }]2 + 2M [(X − M {X })(Y − M {Y })]+ M [Y − M {Y }]2 = + D[X ]+ D[Y ]+ 2M [(X − M {X })(Y − M {Y })]

(5.2.)

Для независимых случайных величин третий член уравнения (5.2.) равен 0. Если он не равен 0, то по определению (см. 5.1) X и Y зависимы.

Выражение M [(X −mx )(Y −my ]> 0 называется корреляционным моментом или ковариацией Cov{XY}, а безразмерная величина rxy коэффициентом корреляции:

Для независимых случайных величин rxy =0. Коэффициент корреляции характеризует только линейную зависимость между X и Y .

В практических расчетах используют выборочный коэф-

5.3. Регрессия

Зависимость между случайными величинами полностью определяется условной функцией распределения. Использование функции распределения на практике затруднительно, по этому пользуются условной средней my и условной дис-

71

персией δy2 . Зависимость условного среднего my от случайной величины X называется регрессией.

Пусть имеется две случайные величины А и В, принимающие соответственно значения аi и bi между которыми есть некая статистическая зависимость. Графически эту зависимость можно выразить «облаком данных», соответствующим значениям реализации случайных величин А и В – (ai, bi), i = 1…n. Такая картина, как правило, возникает при экспериментальных исследованиях в силу названных выше причин.

Если для случайных величин (А и В) задана условная функция распределения, то в качестве кривой берут математическое ожидание случайной величины B , при условии, что случайная величина A приняла значение a :

в = (В/А = a M) = ϕ( b = M (B / A = a)= ϕ(a)a)

Уравнение ϕ(a) называется уравнением регрессии B от

A .

Буквально слово «регрессия» для характеристики связи случайных величин не очень подходит. Его ввёл в математику английский учёный Ф. Гальтон. При сопоставлении роста детей с ростом их родителей, он обнаружил довольно слабую связь между ростом отцов и детей и объяснил это влиянием более отдалённых предков – дедушек, прадедушек и т.д. Движение назад он и назвал регрессией, хотя в математике под этим термином подразумевают просто статистическую связь между случайными величинами.

Как правило, вид уравнения регрессии вестен и его необходимо подобрать.

Формально, функция y = ϕ(X ) должна проходить через все математические ожидания случайной величины B - bi , и в принципе такую функцию можно подобрать, исходя, из их огромного многообразия. Однако на практике применяют

72

другой подход. Учитывая, что в силу разброса данных в облаке, и из соображений практическидостаточной точности модели процесса, функцию y = ϕ(X ) можно заменить другой функцией Y = f (X ), которая наиболее близко примыкает к исходной, и такую функцию принято называть уравнением приближённой регрессии.

При обработке экспериментальных данных находят уравнение приближённой регрессий, оценивая величину и вероятность этой приближённости. Эта задача решается методом регрессионного анализа.

5.4. Метод наименьших квадратов

Уравнение приближённой регрессии (его численные коэффициенты) определяют по методу наименьших квадратов. Основной постулат метода состоит в следующем: наилучшее уравнение приближённой регрессии даёт та функция, для которой сумма квадратов отклонений имеет наименьшее значение:

n

Ф = ∑[ yi − f (xi )]2 → min ,

i=1

f (xi )) – принятый вид функции - как модель уравнения регрессии.

Если y = f (x, b0 , b1 , b2 ,.....bn ) дифференцируемая функция и требуется определить значения численных коэффициентов b0 , b1, b2 ,....bn так чтобы:

n

Ф = ∑[ yi − f (x, b0 , b1, b2 ....bn )]2 = min ,

i=1

то необходимым условием минимума Ф(b0 , b1 , b2 ....bn ) является выполнение равенств:

73

Количество уравнений в системе, столько же, сколько неизвестных коэффициентов (b0 , b1, b2 ....bn ) входит в уравнение регрессии, то есть система (5.1) является системой нормальных уравнений.

Решить систему (5.1) в общем виде нельзя. Для этого надо задаться видом функции f .

Допустим, требуется определить по методу наименьших квадратов коэффициенты линейного уравнения:

Y = b0 + b1 x

по выборке объёма n.

Система нормальных уравнений имеет вид:

коэффициенты b0 и b1 находятся из решения этой системы.

74

Выборочный коэффициент корреляции r* :

Пример. Рассмотрим возможность составления уравнения регрессии для коэффициента теплопроводности λ строительного материала (бетона) от его плотности ρ . В таблице 5.2 приведены результаты экспериментального определения λ для семи образцов бетона с различной плотностью.

Таблица 5.2

Каждый образец материала изготавливался в четырех экземплярах, для каждого из которых определялся λ .

Коэффициенты:

Соответственно уравнение выглядит следующим образом:

75

Таблица 5.3

После определения коэффициентов уравнения их значение необходимо сравнивать с ошибками воспроизводимости и адекватности – то есть провести регрессионный анализ. Обычно его проводят по следующей схеме.

1. Проверяется однородность дисперсии в каждом опыте. Если число повторений в каждом опыте одинаково, то ее проводят по критерию Кохрена (Кочрена) — G :

76

Распределение G зависит от числа опытов n и степени свободы f = m −1. Если G ≤ G1−p,(n; f ), то при выбранном уровне значимости p расхождения между дисперсиями случайны. Следовательно, дисперсии однородны, и их можно усреднить.

2. Оценка значимости коэффициентов производится по критерию Стьюдента- t :

исключается из уравнения регрессии.

77

3. Адекватность проверяется по критерию Фишера- F :

Уравнение регрессии считается адекватным эксперименту при доверительной вероятности β , если выполняется условие:

β =0,95 равно G(0,95;7;3) = 0,48 . Следовательно, дисперсии однородны.

Дисперсия воспроизводимости Sвоспр :

Sвоспр2 = 70,0208* (4 −1) = 0,001

78

Среднеквадратичные отклонения коэффициентов составляют:

Значения критериев Стьюдента для коэффициентов уравнения (5.2):

верительной вероятности 0,95 равно t(0,95;21) = 2,08 . И так, как оба расчетных критерия Стьюдента коэффициентов больше табличного, то, следовательно, нет оснований исключать их из уравнения регрессии.

Проверку уравнения регрессии на адекватность экспериментальным значениям выполняется по критерию Фишера

F:

-дисперсия адекватности

Расчетный критерий Фишера:

79

Табличное значение критерия Фишера для уровня значимости p=0,05 и степеней свободы адекватности f1 = n − l = 5 и воспроизводимости f2 = n(m −1) = 7 * (4 −1) = 21 равно F(табл0,95;5;21) = 2,7 , что меньше расчетного. Из этого следует, что для приведенных условий эксперимента полученные результаты удовлетворительно не описываются линейным уравнением. Здесь возникает довольно типичная ситуация: с одной стороны максимальная ошибка в описании результатов эксперимента оставляет всего 4%, что вполне удовлетворительно для практических расчетов, с другой стороны уравнение не может быть принято к использованию из-за формального невыполнения требований проверки по критерию Фишера. Основной причиной этого несоответствия является слишком малая дисперсия воспроизводимости. И парадокс статистической проверки заключается в том, что чем «тоньше» эксперимент, тем сложнее добиться адекватного его описания математической функцией.

Если уравнение регрессии представляет собой полином некоторой степени, то для нахождения коэффициентов этого полинома необходимо решить систему линейных уравнений.

Пусть функция имеет вид параболы второго порядка:

Y = b0 + b1 x1 + b2 x2 .

При этом:

Используя формулы системы (5.1), получим:

80