3.2. Оценка параметров нелинейных моделей

Нелинейные уравнения регрессии можно разделить на два класса:

– уравнения, которые с помощью замены переменных можно привести к линейному виду в новых переменных

– уравнения, для которых это невозможно. Назовем их внутренне нелинейными.

(слайд 9) В первом случае, уравнения регрессии приводятся к линейному виду с помощью введения новых (линеаризующих) переменных. При этом предварительно формируются массивы значений. В последующем, после определения параметров линейного уравнения регрессии с помощью обратного преобразования можно получить параметры исходного уравнения регрессии, представляющие интерес для исследователя.

Линеаризующие преобразования для некоторых нелинейных моделей приведены в таблице 2.2.

Таблица 2.2

Линеаризующие преобразования

Зависимость	Формула	Преобразование	Зависимость между параметрами
Гиперболическая		y1=y X=1/x	а1=а b1=b
Логарифмическая		y1=y X=ln x	а1=а b1=b
Экспоненциальная		Y=ln y х1=х	а1=а b1=b
Степенная		Y=ln y (Y=lg y) X=ln x (X=lg x)	ln a=C (lg a=C) b1=b
Показательная		Y=ln y (Y=lg y) х1=х	ln a=C (lg a=C) ln b=B (lg b=B)

(слайд 10) Для оценки параметров внутренне нелинейных зависимостей также можно применить МНК и определять оптимальные значения параметров а и b, исходя из условия .

В данном случае процедуру минимизации дисперсии в общем виде можно представить в виде следующих последовательных шагов.

1. Задаются некоторые «правдоподобные» начальные (исходные) значения параметров а и b.

2. Вычисляются теоретические значения ŷi = f(xi) с использованием этих значений параметров.

3. Вычисляются остатки еi = ŷi – yi и сумма квадратов остатков S.

4. Вносятся изменения в одну или более оценку параметров.

5. Вычисляются новые теоретические значения ŷi, остатки еi и S.

6. Если произошло уменьшение S, то новые значения оценок используются в качестве новой отправной точки.

7. Шаги 4, 5 и 6 повторяются до тех пор, пока не будет достигнута ситуация, когда величину S невозможно будет улучшить (в пределах заданной точности).

8. Полученные на последнем шаге значения параметров а и b являются оценками параметров нелинейного уравнения регрессии.

4. Проверка качества уравнения регрессии. F-критерий Фишера. T-критерий Стьюдента.

(слайд 11) После того как уравнение регрессии найдено, проводится оценка значимости как уравнения в целом, так и его отдельных параметров.

Оценка значимости уравнения регрессии в целом дается с помощью F-критерия Фишера. Согласно F-критерию Фишера, выдвигается «нулевая» гипотеза H0 о статистической незначимости уравнения регрессии и показателя тесноты связи.

Непосредственному расчету F-критерия предшествует анализ дисперсии.

Наблюдаемые значения результативного признака yi можно представить в виде суммы двух составляющих ŷi и εi:

yi = ŷi+ εi

Из данного уравнения следует следующее соотношение между дисперсиями наблюдаемых значений переменной D(y), ее расчетных значений D(ŷ) и остатков D(е) (остаточной дисперсией Dост = D(ε)):

D(y) = D(ŷ) + D(ε)

= +

полная (общая) сумма квадратов отклонений

=

сумма квадратов отклонений, объясненная регрессией

+

(остаточная) сумма квадратов отклонений, не объясненная регрессией

(слайд 12)

где m – число независимых переменных в уравнении регрессии (для парной регрессии m = 1);

n – число единиц совокупности.

Если нулевая гипотеза Н0 справедлива, то факторная и остаточная дисперсии не отличаются друг от друга (т. е. отличие величины F от нуля статистически незначимо).

Если нулевая гипотеза Н0 не справедлива, то факторная дисперсия превышает остаточную в несколько раз.

(слайд 13) Справедливость (несправедливость) гипотезы Н0 определяется по таблицам критических значений F-критерия Фишера, которые разработаны английским статистиком Снедекором для разных уровнях значимости нулевой гипотезы и различного числа степеней свободы.

Уровнем значимости (обозначается α) в статистических гипотезах называется вероятность отвергнуть верную гипотезу (это, так называемая, ошибка первого рода). Уровень значимости α обычно принимает значения 0,05 и 0,01, что соответствует вероятности совершения ошибки первого рода 5 % и 1 %.

Число степеней свободы связано с числом единиц совокупности n и с числом определяемых по ней констант. В таблице значений F-критерия Фишера число степеней свободы k1 = m, k2 = n -m -1.

Табличное значение F-критерия – это максимальная величина отношения дисперсий, которая может иметь место при случайном расхождении их для данного уровня вероятности наличия нулевой гипотезы.

Если Fфакт > Fтабл, то Н0 о случайной природе связи отклоняется и признается статистическая значимость и надежность уравнения.

Если Fфакт < Fтабл, то Н0 не отклоняется и признается статистическая незначимость уравнения регрессии.

(слайд 14) В линейной регрессии обычно оценивается значимость не только уравнения в целом, но и отдельных его параметров. С этой целью по каждому параметру определяется его стандартная ошибка.

Стандартные ошибки параметров регрессии (ma, mb) определяются соотношениями:

Сопоставляя оценки параметров и их стандартные ошибки можно сделать вывод о надежности (точности) полученных оценок.

Для оценки статистической значимости коэффициентов регрессии применяется t-критерий Стьюдента, согласно которому выдвигается «нулевая» гипотеза H0 о статистической незначимости коэффициента уравнения регрессии (т. е. о статистически незначимом отличии величины а или b от нуля):

Н0: а=0, b=0

Эта гипотеза отвергается при выполнении условия t > tтабл, где tтабл определяется по таблицам t-критерия Стьюдента по числу степеней свободы k1 = n-m-1 (m - число независимых переменных в уравнении регрессии) и заданному уровню значимости α. (слайд 15)

t-критерий Стьюдента используется и для оценки статистической значимости выборочного коэффициента корреляции rxy:

(слайд 16) Оценка значимости параметров уравнения и коэффициента корреляции проводится путем сопоставления их значений с величиной случайной ошибки:

Если tфакт > tтабл, то Н0 отклоняется, т.е. a, b, r не случайно отличаются от нуля и сформировались под влиянием систематически действующего фактора х.

Если tфакт < tтабл, то Н0 не отклоняется и признается случайная природа формирования a, b, r.

(слайд 17) Проверка значимости оценок параметров ничего не говорит о том, насколько эти оценки могут отличаться от точных значений. Ответ на этот вопрос дает построение доверительных интервалов.

Под доверительным интервалом понимаются пределы, в которых лежит точное значение определяемого показателя с заданной вероятностью (P = 1-α).

Доверительные интервалы для параметров a и b уравнения линейной регрессии определяются соотношениями:

;

;

Если в границы доверительного интервала попадает ноль, т. е. нижняя граница отрицательна, а верхняя положительна, то оцениваемый параметр принимается равным нулю, так как он не может одновременно принимать и положительное, и отрицательное значения.