33. Метод максимального правдоподобия

Ме́тод максима́льного правдоподо́бия или метод наибольшего правдоподобия (ММП, ML, MLE — Maximum Likelihood Estimation) в математической статистике — это метод оценивания неизвестного параметра путём максимизации функции правдоподобия[1]. Основан на предположении о том, что вся информация о статистической выборке содержится в функции правдоподобия.

Пусть есть выборкаизраспределения, где— неизвестные параметры. Пусть—функция правдоподобия, где.Точечная оценка

называется оце́нкой максима́льного правдоподо́бия параметра . Таким образом оценка максимального правдоподобия — это такая оценка, которая максимизирует функцию правдоподобия при фиксированной реализации выборки.

Часто вместо функции правдоподобия используютлогарифмическую функцию правдоподобия. Так какфункциямонотонно возрастаетна всей области определения,максимумлюбой функцииявляется максимумом функции, и наоборот. Таким образом,

,

Если функция правдоподобия дифференцируема, то необходимое условие экстремума — равенство нулю ее градиента:

Достаточное условие экстремума может быть сформулировано как отрицательная определенность гессиана— матрицы вторых производных:

Важное значение для оценки свойств оценок метода максимального правдоподобия играет так называемая информационная матрица, равная по определению:

В оптимальной точке информационная матрица совпадает с математическим ожиданием гессиана, взятым со знаком минус:

Свойства:

Оценки максимального правдоподобия, вообще говоря, могут быть смещёнными, но являютсясостоятельными, асимптотически эффективными и асимптотически нормальными оценками. Асимптотическая нормальность означает, что

где - асимптотическая информационная матрица

Асимптотическая эффективность означает, что асимптотическая ковариационная матрица является нижней границей для всех состоятельных асимптотически нормальных оценок.

Если — оценка метода максимального правдоподобия, параметров, тоявляется оценкой максимального правдоподобия для, где g-непрерывная функция (функциональная инвариантность). Таким образом, законы распределения данных можно параметризовать различным образом.

Условный метод максимального правдоподобия(Conditional ML) используется в регрессионных моделях. Суть метода заключается в том, что используется не полное совместное распределение всех переменных (зависимой и регрессоров), а только условное распределение зависимой переменной по факторам, то есть фактически распределение случайных ошибок регрессионной модели. Полная функция правдоподобия есть произведение «условной функции правдоподобия» и плотности распределения факторов. Условный ММП эквивалентен полному варианту ММП в том случае, когда распределение факторов никак не зависит от оцениваемых параметров. Это условие часто нарушается в моделях временных рядов, например вавторегрессионной модели. В данном случае, регрессорами являются прошлые значения зависимой переменной, а значит их значения также подчиняются той же AR-модели, то есть распределение регрессоров зависит от оцениваемых параметров. В таких случаях результаты применения условного и полного метода максимального правдоподобия будут различаться.