23. Оценка максимального правдоподобия коэффициентов регрессии

Наряду с методом наименьших квадратов (МНК) возможен и другой под­ход к оцениванию параметров линейного регрессионного уравнения по данным наблюдений - метод максимального правдоподобия. Рассмотрим его приме­нение к оцениванию параметров парной регрессии. Предположим, что мы ищем параметры нормальной линейной регрессионной модели

y_t = a + bx_t + ε_t Ошибки регрессии ε_t независимы и распределены по нормальному закону: ε_t ~ N(0,σ²), или, что является эквивалентной записью.

Y ~ N(a + bX, σ²). Имея набор наблюдений ( x_t ,y_t), t = 1,..., n, мы можем попытаться ответить на вопрос: при каких значениях параметров а, b, σ² модели вероят­ность получить этот набор наблюдений наибольшая? Другими словами, како­вы наиболее вероятные значения параметров модели для данного набора на­блюдений?

Чтобы ответить на этот вопрос, составим функцию правдоподобия, равную произведению плотностей вероятности отдельных наблюдений (мы считаем все ε_t независимыми):

где р обозначает плотность вероятности, зависящую от x_t, y_t и параметров а

b, σ² . Чтобы найти наиболее правдоподобные значения параметров, нам необходимо найти такие их значения, при которых функция правдоподобия L достигает своего максимума. Так как функции L и lnL одновременно достигают своего максимума, достаточно искать максимум логарифма функции правдоподобия

Необходимые условия экстремума функции lnL имеют вид:

Решением системы уравнений являются оценки максимально­го правдоподобия.

Отметим, что оценки максимального правдоподобия (ML) параметров a, b совпадают с оценками метода наименьших квадратов (OLS). Это легко видеть из того, что уравнения совпадают с соответствующими урав­нениями метода наименьших квадратов. Оценка максимального правдопо­добия для σ² не совпадает с (OLS)-оценкой σ²

которая, как мы знаем, является несмещенной оценкой дисперсии ошибок. Т.о.,

Является смещенной, но, тем не менее, состоятельной оценкой σ²

24. Гетероскедастичность и ее последствия. Тесты на гетероскедастичность. Метод взвешенных наименьших квадратов

В реальных эконометрических измерения, любая из гипотез, лежащих в обосновании линейной регрессионной модели, может быть нарушена. Так применение нелинейной регрессии «отменяет» первую гипотезу о линейности спецификации модели. При нарушении принципа независимости регрессоров (вторая гипотеза) получаем проблемы с мультиколлинеарностью.

Рассмотрим проблемы, возникающие при нарушениях третьей гипотезы, о независимости дисперсии ошибок от значения регрессора и о некоррелирован-ности ошибок регрессии между собой. Нарушение первого из этих принципов называют гетероскедастичностью, а второго автокорреляцией ошибок.

Наличие гетероскедастичности может в отдельных случаях привести к смещенности оценок коэффициентов регрессии, хотя несмещенность оценок коэффициентов регрессии в основном зависит от соблюдения второй предпо-сылки МНК, т.е. независимости остатков и величин факторов. Гетероскеда-стичность будет сказываться на уменьшении эффективности оценок b_i. В част-ности, становится затруднительным использование формулы стандартной ошибки коэффициента регрессии S_b, предполагающей единую дисперсию ос-татков для любых значений фактора.

С этой целью рекомендуется использовать обобщенный метод наимень-ших квадратов, который эквивалентен обыкновенному МНК, примененному к преобразованным данным.

Чтобы убедиться в необходимости использования обобщенного МНК, обычно не ограничиваются визуальной проверкой гетероскедастичности, а про-водят ее эмпирическое подтверждение.

При малом объеме выборки, что наиболее характерно для эконометриче-ских исследований, для оценки гетероскедастичности может использоваться метод Гольдфельда – Квандта, разработанный в 1965 г. Гольдфельд и Квандт рассмотрели однофакторную линейную модель, для которой дисперсия остат-ков возрастает пропорционально квадрату фактора. Чтобы оценить нарушение гомоскедастичности, они предложили параметрический теcm, который вклю-чает в себя следующие шаги.

1. Упорядочение п наблюдений по мере возрастания переменной х.

2. Исключение из рассмотрения С центральных наблюдений; при этом (п – С)/2 > р, где р — число оцениваемых параметров.

3. Разделение совокупности из (п – С) наблюдений на две группы (соответ-ственно с малыми и большими значениями фактора х) и определение по каждой из групп уравнений регрессии.

4. Определение остаточной суммы квадратов для первой (S₁) и второй (S₂) групп и нахождение их отношения: R= S₁ / S₂

При выполнении нулевой гипотезы о гомоскедастичности отношение R будет удовлетворять F-критерию с (п - С - 2р) / 2 степенями свободы для каж­дой остаточной суммы квадратов. Чем больше величина R превышает таблич­ное значение F -критерия тем более нарушена предпосылка о равенстве диспер­сий остаточных величин.

При нарушении гомоскедастичности и наличии автокорреляции ошибок рекомендуется традиционный метод наименьших квадратов (известный в анг­лийской терминологии как метод OLS - Ordinary Least Squares) заменять обоб­щенным методом, т.е. методом GLS (Generalized Least Squares).

Обобщенный метод наименьших квадратов применяется к преобразован­ным данным и позволяет получать оценки, которые обладают не только свойст­вом несмещенности, но и имеют меньшие выборочные дисперсии. Рассмотрим использование обобщенного МНК для корректировки гетероскедастичности.

Как и раньше, будем предполагать, что среднее значение остаточных вели­чин равно нулю. А вот дисперсия их не остается неизменной для разных значе­ний фактора, а пропорциональна величине К_t, т.е.

где - дисперсия ошибки при конкретном t-м значении фактора; - постоянная дисперсия ошибки при соблюдении предпосылки о гомоскедастичности остатков; К_t - коэффициент пропорциональности, меняющийся с изменением вели­чины фактора, что и обусловливает неоднородность дисперсии.

При этом предполагается, что неизвестна, а в отношении величины К выдвигаются определенные гипотезы, характеризующие структуру гетероске-дастичности.

В общем виде для уравнения y_t = a + bx_t + ε_t при модель примет вид

В ней остаточные величины гетероскедастичны. Предполагая в них отсут­ствие автокорреляции, можно перейти к уравнению с гомоскедастичными ос­татками, поделив все переменные, зафиксированные в ходе t-то наблюдения на . Тогда дисперсия остатков будет величиной постоянной, т.е.

Иными словами, от регрессии у по х мы перейдем к регрессии на новых переменных: и . Уравнение регрессии примет вид:

По отношению к обычной регрессии уравнение с новыми, преобразован­ными переменными представляет собой взвешенную регрессию, в которой пе­ременные у и х взяты с весами .

Оценка параметров нового уравнения с преобразованными переменными приводит к взвешенному методу наименьших квадратов, для которого необхо­димо минимизировать сумму квадратов отклонений вида

При обычном применении метода наименьших квадратов уравнению ли­нейной регрессии для переменных в отклонениях от средних уровней коэффи­циент регрессии b определяется по формуле

Для нашего случая эта формула примет вид

Как видим, при использовании обобщенного МНК с целью корректировки гетероскедастичности коэффициент регрессии b представляет собой взвешен­ную величину по отношению к обычному МНК с весами 1/К.

Аналогичный подход возможен не только для уравнения парной, но и для множественной регрессии. Предположим, что рассматривается модель вида

для которой дисперсия остаточных величин оказалась пропорциональна . K_t - представляет собой коэффициент пропорциональности, принимающий раз­личные значения для соответствующих t-х значений факторов х₁ и х₂. Ввиду того, что рассматриваемая модель примет вид

где ошибки гетероскедастичны

Для того чтобы получить уравнение, где остатки гомоскедастичны, перей­дем к новым преобразованным переменным, разделив все члены исходного уравнения на коэффициент пропорциональности К. Уравнение с преобразован­ными переменными составит

Это уравнение не содержит свободного члена. Вместе с тем, найдя пере­менные в новом преобразованном виде и применяя обычный МНК к ним, полу­чим иную спецификацию модели

Параметры такой модели зависят от концепции, принятой коэффициента пропорциональности K_t . В эконометрических исследованиях довольно часто выдвигается гипотеза, что остатки пропорциональны значениям фактора. Так, если в уравнении y = a + b₁ x₁ + b₂ x₂ + … + b_p x_p + E предположить, что Е = εх₁, т.е. K=х₁, то обобщенный МНК предполагает оценку параметров следующего трансформированного уравнения:

Применение в этом x₁ случае обобщенного МНК приводит к тому, что на­блюдения с меньшими значениями преобразованных переменных х/K имеют при определении параметров регрессии относительно больший вес, чем с пер­воначальными переменными. Вместе с тем следует иметь в виду, что новые преобразованные переменные получают новое экономическое содержание и их регрессия имеет иной смысл, чем регрессия по исходным данным.