Коэффициент детерминации

Коэффициент корреляции между выборочными величинами и определяется в виде:

, , (13)

Возводя коэффициент корреляции в квадрат, получаем коэффициент детерминации:

(14)

Поскольку наклон линии регрессии между и равен (формула 15), то:

(16)

Так как будет общей вариацией зависимой переменной , и, кроме того, есть вариация, объясняемая линейной регрессией по . Коэффициент детерминации представляет ту долю общей вариации зависимой переменной, которую объясняет регрессия. Коэффициент 1- часто называют коэффициентом неопределенности, он представляет ту долю общей вариации зависимой переменной, которую регрессия не объясняет. Чем ближе коэффициент детерминации к единице, тем более точной является модель.

Адекватность регрессионного уравнения

Адекватность модели – степень соответствия исходных данных и оценок, полученных при помощи регрессионного анализа. Другими словами, насколько точно регрессионная модель отражает анализируемые данные. Для проверки адекватности модели используется F критерий Фишера.

Гипотезы, которые подлежат проверке формулируются следующим образом:

H₀: уравнение неадекватно.

H₁:уравнение адекватно.

В случае расчетов вручную действует следующее правило:

Если F_р<F_т, то принимается нулевая гипотеза (H₀) с соответствующим уровнем значимости α. При этом можно утверждать, что линейная зависимость между и отсутствует.

Если F_р>F_т, то принимается альтернативная гипотеза (H₁) с соответствующим уровнем значимости α (F_p - расчетное значение F критерия Фишера, F_т – табличное значение F критерия Фишера F_т=F(1,n-2,α)). При этом можно утверждать, что линейная зависимость между и присутствует.

Формула для расчета F критерия Фишера:

, (17)

где n - число пар наблюдений.

В случае машинной обработки при помощи системы «GRETL для WINDOWS» для принятия решения используем следующее правило:

Если P < α, то нулевая гипотеза отвергается и принимается альтернативная при соответствующем уровне значимости α.

Если P > α, то альтернативная гипотеза отвергается и принимается нулевая при соответствующем уровне значимости α.

Оценка качества регрессионного уравнения.

Оценка качества регрессионного уравнения производится с помощью использования ряда критериев:

1. Функция логарифмического правдоподобия.

2. Информационный критерий Акаике.

3. Критерий Байеса-шварца

4. Критерий Ханаана-Квина.

Функция логарифмического правдоподобия. Качество приближения регрессионной модели оценивается при помощи функции подобия. Мерой правдоподобия служит отрицательное удвоенное значение логарифма этой функции (-2LL). В качестве начального значения для -2LL применяется значение, которое получается для регрессионной модели, содержащей только константы. Если после добавления переменной влияния х₁ значение -2LL снижается, то это означает улучшение качества регрессии.

Информационный критерий Акаике. Этот критерий близок к критерию правдоподобия, но дополнительно учитывает количество наблюдений и количество переменных. Критерий Акаике является эвристической попыткой свести в один показатель два требования: уменьшение числа параметров модели и качество подгонки модели. Согласно этому критерию из двух моделей следует выбрать модель с наименьшим значением критерия.

Критерий Байеса-Шварца. В статистике, для того чтобы описать определенный набор данных, можно использовать либо непараметрические, либо параметрические методы. При использовании параметрических методов, существует множество различных моделей-«кандидатов» с разным числом параметров для описания набора данных.Число параметров в модели очень важно. Правдоподобие обучающих данных увеличивается с увеличением числа параметров в модели, но, в случае слишком большого числа параметров, может возникнуть проблема «перетренировки» данных. Для того чтобы подобное не возникало, необходимо использовать информационный критерий Байеса (параметрический метод) – статистический метод для выбора модели, вычисляемый по следующей формуле:

(18)

Если оцениваются две модели, то выбирается та, у которой ниже значение информационного критерия Байеса.

Критерий Ханана-Квина. Согласно критерию Ханана-Квина, количество информации, содержащейся в модели, ‑ это расстояние от «истинной» модели и оно измеряется логарифмической функцией правдоподобия. Цель данного информационного критерия – обеспечить меру информации, которая достигала бы баланса между этой меры критерия согласия и неизвестными условиями модели. Методика работы различных информационных критериев варьируется при поиске этого баланса.

Для линейной регрессии с одним фактором формула данного показателя выглядит следующим образом:

(19)