- •§ 1. Основные понятия
- •§ 2. Статистические оценки параметров распределения
- •§ 3. Метод моментов
- •§ 4. Метод максимального правдоподобия
- •§ 5. Интервальные оценки
- •§ 6. Вероятностные распределения, применяемые в статистике: гамма-распределение, распределение , распределение Стьюдента
- •§ 7. Критерий согласия
§ 4. Метод максимального правдоподобия
Метод максимального правдоподобия точечной оценки неизвестных параметров заданного распределения сводится к отысканию максимума функции одного или нескольких оцениваемых параметров.
Дискретные случайные величины. Пусть - дискретная случайная величина, которая в результате опытов приняла возможные значения . Допустим, что вид закона распределения величины задан, но неизвестен параметр , которым определяется этот закон. Требуется найти его точечную оценку
Обозначим вероятность того, что в результате испытания величина примет значение через .
Функцией правдоподобия дискретной случайной величины называют функцию аргумента :
Оценкой максимального правдоподобия параметра называют такое его значение , при котором функция правдоподобия достигает максимума.
Функции и достигают максимума при одном и том же значении , поэтому вместо отыскания максимума функции ищут, что удобнее, максимум функции .
Логарифмической функцией правдоподобия называют функцию .
Точку максимума функции аргумента можно искать, например, так:
Найти производную
Приравнять производную нулю и найти критическую точку - корень полученного уравнения (его называют уравнением правдоподобия).
Найти вторую производную если вторая производная при отрицательна, то - точка максимума.
Найденную точку максимума принимают в качестве оценки максимального правдоподобия параметра
Непрерывные случайные величины. Пусть - непрерывная случайная величина, которая в результате испытаний приняла значения . Допустим, что вид плотности распределения функции задан, но неизвестен параметр , которым определяется эта функция.
Функцией правдоподобия непрерывной случайной величины называют функцию аргумента
Оценку максимального правдоподобия неизвестного параметра распределения непрерывной случайной величины ищут так же, как в случае дискретной случайной величины.
Если плотность распределения непрерывной случайной величины определяется двумя неизвестными параметрами и , то функция правдоподобия есть функция двух независимых аргументов и :
Далее находят логарифмическую функцию правдоподобия и для отыскания ее максимума составляют и решают систему
Примеры с решениями
Пример 1. Найти методом максимального правдоподобия точечную оценку неизвестного параметра (вероятность появления события в одном испытании) биномиального распределения:
где - число появлений события в -м опыте, - количество испытаний в одном опыте, -число опытов.
Решение. В данном случае функция правдоподобия имеет вид:
Учитывая, что и получим
или
Напишем логарифмическую функцию правдоподобия:
Найдем первую производную по :
Приравняем первую производную нулю и решим полученное уравнение. Получим критическую точку:
Найдем вторую производную по :
Легко проверить, что при вторая производная отрицательна, следовательно, эта точка есть точка максимума и ее надо принять в качестве оценки максимального правдоподобия неизвестной вероятности биномиального распределения:
Очевидно, что если появлений события наблюдалось в опытах, то
Пример 2. Найти методом максимального правдоподобия по выборке точечную оценку неизвестного параметра показательного распределения, плотность которого
Решение. Составим функцию правдоподобия
учитывая, что и, следовательно,
Найдем логарифмическую функцию правдоподобия:
Найдем первую производную по
Запишем уравнение правдоподобия, для чего приравняем первую производную нулю:
Найдем критическую точку, для чего решим полученное уравнение относительно
Найдем вторую производную по
Легко проверить, что при вторая производная отрицательна, следовательно, эта точка есть точка максимума. Значит, в качестве оценки максимального правдоподобия надо принять величину, обратную выборочной средней:
Задачи
Задача 1. Случайная величина имеет геометрическое распределение:
где - число испытаний, произведенных до появления события, - вероятность появления события в одном испытании, . Найти методом максимального правдоподобия точечную оценку параметра .
Задача 2. Найти методом максимального правдоподобия по выборке точечную оценку параметра гамма-распределения (параметр известен), плотность которого
.
Задача 3. Случайная величина (число появлений события в независимых испытаниях) подчинена закону распределения Пуассона с неизвестным параметром :
где - число испытаний в одном опыте, -число появлений события в -м опыте ( ). Найти методом максимального правдоподобия по выборке точечную оценку неизвестного параметра распределения Пуассона.