31. Статистические оценки параметров распределения. Методы нахождения оценок.

Основная задача теории оценок выглядит следующим образом. Имеется случайная величина ξ, для которой известен вид ее плотно­сти распределения вероятностей с точностью до неизвестных пара­метров. Например, известно, что величина ξ нормальная, то есть ее плотность вероятностей имеет вид

(x) = ,

по параметры а и σ, характеризующие эту плотность вероятностей, нам неизвестны. Нашей задачей является оценка этих неизвестных параметров. Будем пока считать, для простоты, что у нас имеется все­го лишь один неизвестный параметр θ, подлежащий оценке.

Разумеется, оценить неизвестный параметр можно только на

основе опытных данных X=. Имея выборкуX, мы

должны указать число , которое близко к истинному значению неизвестного параметра θ, то есть мы должны указатьоценку неиз­вестного параметра θ. Значит, мы должны каждой выборкеX поставить в соответствии некоторое число, которое будет называться оценкой неизвестного параметра θ. Другими словами, оценкаесть функция от опытных данных:

=T(x_1,x_2,…,x_n) =T(X).

Задачей теории оценки как раз и является указание вида функции T(X).

Ясно, что функцию Т(Х) следует выбирать таким образом, что­бы ее значения как можно точнее оценивали значения неизвестного параметра θ. К оценкам предъявляются требования, ограничиваю­щие выбор функции Т(Х). Рассмотрим эти требования.

1. Несмещенность - требование отсутствия систематических ошибок, или требование того, чтобы оценка в среднем совпадала с истинным значением неизвестного параметра:

М() = θ .

2. Эффективность. Оценкой качества оценка является еевариация:

V() = М(-θ)².

Для несмещенной оценки она совпадает, очевидно, с дисперси­ей. Оценка называется эффективной, если ее вариация является ми­нимальной среди вариаций всех возможных оценок параметра θ, вычисленных по одному и тому же объему выборки п.

3. Состоятельность. Данное требование состоит в том, чтобы

θ.

Желательно использовать оценки, удовлетворяющие одновремен­но трем перечисленным требованиям.

Несмещенной оценкой математического ожидания случайной ве­личины ξ служит выборочная средняя . Смещенной оценкой дис­персии случайной величины ξ, служит выборочная дисперсия. Не­смещенной оценкой дисперсии случайной величины ξ служит «исправленная» выборочная дисперсия

= = .

Точечной называют оценку, которая определяется одним числом.

32.Метод моментов.

Метод моментов точечной оценки неизвестных параметров за­данного распределения состоит в приравнивании теоретических мо­ментов (начальных или центральных) соответствующим эмпиричес­ким моментам того же порядка.

Напомним, что теоретические моменты для дискретной величи­ны определяются по формулам:

для непрерывных:

=,=

Если распределение определяется одним параметром, то для его отыскания достаточно одного уравнения, чаще всего используют урав­нение

=_,то естьМξ = .

Если распределение определяется двумя параметрами, то чаще всего используют систему:

, то есть

Разумеется, что для вычисления выборочных характеристик надо располагать выборкой.

Пример 14.1. Найти оценку параметраX распределения Пуас­сона с помощью метода моментов.

Решение. Распределение Пуассона задается вероятностями

р_к = , к= 0,1,2,... . В данном случае для нахождения единственного параметра достаточно приравнять=илиМξ = . Математическое ожидание распределения Пуассона равноλ. Следовательно, оценка параметра λ закона Пуассона есть выборочная средняя:

= .

Пример 14.2. Случайная величина ξ, - время безотказной рабо-ты прибора, имеет показательное распределение:

(x) = λ, x ≥ 0

Ниже приведено эмпирическое распределение среднего времени работы п = 200 элементов:

	2,5	7,5	12,5	17,5	22,5	27,5
	133	45	15	4	2	1

Найти методом моментов точечную оценку неизвестного пара­метра показательного распределения.

Решение. Будем использовать уравнение, то есть.

Математическое ожидание показательного распределения равно

.

Значит =.

Определим выборочную среднюю:

=(2,5∙133 + 7,5 ∙45 + 12,5∙15 +17,5∙4 + 22,5∙2 + 27,5∙1) = 5.

Тогда получим оценку параметра λ:

= = = 0,2

Оценки метода моментов состоятельны, однако по эффективно­сти они не являются наилучшими. Тем не менее метод моментов час­то используется на практике, так как приводит к сравнительно про­стым вычислениям.

33.Метод максимального правдоподобия.

Основным методом получения оценок параметров генеральной совокупности по данным выборки является метод максимального правдоподобия, предложенный Р.Фишером,

Основу метода составляет функция правдоподобия, выражаю­щая плотность вероятности (вероятность) совместного появления результатов выборки,,…,:

L(х₁,х₂,…,;θ) =L(X;θ) =p(х_1, θ)p(х_2, θ)…p(х_n, θ), гдев случае непрерывного распределенияp(x,θ) - плотность рас­пределения вероятностей исследуемой случайной величины,в слу­чаедискретного распределенияp(x,θ) - вероятность того, что в ре­зультате испытания случайная величина примет значениех.

Согласно методу максимального правдоподобия в качестве оценки неизвестного параметра θ принимается такое значение , которое максимизирует функцию L. То есть оценка является точкой максимума функции правдоподобия.

Нахождение оценки упрощается, если максимизировать не саму функциюL, aInL,поскольку максимум обеих функций дости­гается при одном и том же значенииθ. ФункцияInL, называетсялогарифмической функцией правдоподобия.

Точку максимума функции InLпо аргументуθ можно искать, например, так:

1. Найти производную .

2. Найти критическую точку θ* из уравнения= 0.

3. Найти вторую производную , если вторая прозводная

при θ = θ* отрицательна, то θ* - точка максимума.

Найденную точку максимума θ* принимают в качестве оценки максимального правдоподобия параметра θ, = θ*.

В случае, когда надо оценить не один параметр θ, а несколько (,,…,), оценки максимального правдоподобия для этих пара­метров находят из системы уравнений:

= 0, i = .

Пример 14.3. Для случайной величины распределенной по закону Пуассона, по результатам выборких₁,х₂,...,х„ оценить неиз­вестный параметрλ.

Решение. Для распределения Пуассона

p(x_i;λ) = P(ξ = x_i) = , i = .

Построим функцию правдоподобия:

L = = .

Перейдем к логарифмической функции правдоподобия:

Дифференцируя это равенство, имеем

Приравнивая нулю, имеем

Находя вторую производную, получим

для распределения Пуассона x_i ≥ 0.

Следовательно =.

Пример 14.4. Пусть случайная величина ξ имеет показательное распределение с плотностью вероятностей р(х,λ) = , x ≥ 0. Требуется по результатам выборки х₁, х₂,…,x_п найти оценку неизве­стного параметра λ.

Решение. Для показательного распределения функция правдо­подобия имеет вид:

L(X,λ) = λλ…=.

Логарифмируя эту функцию, получим:

Тогда

Отсюда λ = = .

= - < 0

Значит, оценка неизвестного параметра имеет вид = .

Пример 14.5. Для нормально распределенной случайной вели­чины ξ по результатам выборки х₁, х₂,…,x_п найти оценку неизвест­ных параметров а и σ.

Решение. Плотность распределения вероятностей нормального

закона имеет вид:

= (x;а,σ) = .

В этом случае функция правдоподобия имеет вид:

Прологарифмировав L, получим:

Дифференцируя по а и σ, будем иметь:

Отсюда находим оценки неизвестных параметров а и σ.

Важность метода максимального правдоподобия связана с оп­тимальными свойствами его оценок. Основной недостаток метода максимального правдоподобия - трудность вычисления оценок, свя­занных с решением уравнений правдоподобия, чаще всего нелиней­ных. Существенно и то, что для построения оценок максимального правдоподобия и обеспечения их «хороших» свойств необходимо зна­ние чипа анализируемого закона распределения р(х,θ)_, что во мно­гих случаях оказывается практически нереальным.

Широкое распространение в практике статистических исследо­ваний получил метод наименьших квадратов, так как он, во-пер­вых, не требует знания закона распределения выборочных данных, во-вторых, достаточно хорошо разработан в плане вычислительной реализации. Суть егозаключается в том, чтооценка определяется из условия минимизации суммы квадратов отклонений выборочных данных от определяемой оценки.

Применение метода наименьших квадратов будет рассмотрено при решении задач корреляционного и регрессионного анализа.