книги из ГПНТБ / Дьяченко, А. Н. Интегральное исчисление функций нескольких переменных. Теория вероятностей и элементы математической статистики учебное пособие

6.3. Точечные оценки параметров распределения генеральной совокупности

Для описания законов распределения реальных случайных ве­ личин обычно используют близкие к ним теоретические законы рас­ пределения (такие как нормальный, показательный, Пуассона и др.), каждый из которых зависит от конечного числа параметров. Если по виду графика'выборочного закона распределения £ или из теоретических соображений удается установить вид закона рас­ пределения генеральной совокупности, то дальнейшее уточнение этого распределения сводится к оценке его параметров.

Пусть а — параметр закона распределения генеральной сово­ купности. Точечная оценка этого параметра по выборочным значе­ ниям состоит в том, чтобы по наблюдавшимся в выборке значениям случайной величины

X lt x t , . . . , x n

указать значение параметра а. Обозначим указанное таким образом

значение (оценку параметра а) символом ап. При сделанном в конце §6.1 предположении Х ъ Х 2, . . . , Хп можно считать значениями независимых случайных величин |2, . . . , \п, закон распреде­ ления каждой из которых совпадает с законом распределения ге­ неральной совокупности. Оценка а* параметра а ставит в соответст­

вие каждому возможному набору Х г, Х 2, ■••, Хп значений слу­

ляется случайной величиной. Закон распределения ап зависит как

от закона распределения генеральной совокупности, так и от вида функции <рп.

Выборочные моменты. В качестве оценки моментов закона рас­ пределения генеральной совокупности обычно используются вы­ борочные моменты, которые вычисляются по таким же формулам, что и оцениваемые моменты, только вместо возможных значений xt случайной величины ставятся выборочные значения Xh получен­ ные в результате наблюдения, а вместо вероятностей — частоты. Например, начальные моменты находятся по формуле- (6.3). В ка­ честве оценки математического ожидания используется выбороч­ ное среднее, которое в зависимости от объема выборки определяется либо по формуле (6.4), когда п велико, либо по формуле (6.1):

т* = |*= _L

П £=1

При большом объеме выборки п (не менее нескольких десятков) в силу центральной предельной теоремы закон распределения т*п

160

будет близок к нормальному при любом законе распределения ге­ неральной совокупности.

Если т*п мало, заключение центральной предельной теоремы еще не имеет силы, и закон распределения т*п в общем случае нельзя считать нормальным. Однако если распределение генераль­

Выборочная дисперсия в зависимости от объема выборки опреде­ ляется по формулам (6.2) или (6.4).

Оценки по методу максимума правдоподобия. Распространенным методом вычисления оценок параметров закона распределения ге­ неральной совокупности является метод максимума правдоподобия. Пусть с точностью до параметра известна плотность вероятности закона распределения генеральной совокупности f (х, а). Тогда

Вероятность одновременного выполнения неравенств (6.10) для всех г, как вероятность произведения независимых событий, равна произведению их вероятностей:

Коэффициент при Ап в первом слагаемом правой части послед­ него равенства называется функцией правдоподобия. Обозначим его g (Х х, Х 2, . . . , Хп, а). В качестве оценки параметра а выби­ рается значение а*, при котором функция правдоподобия дости­

гает наибольшего значения. Необходимое условие экстремума

dg(Xlt X t, ■ ■ ■ , Х п, а) 0

да

задает оценку ап как функцию выборочных значений Х ъ Х 2, . . . , Хп неявно.

Требования, предъявляемые в статистике к точечным оценкам. О качестве оценок в статистике судят по тому, насколько они удов­ летворяют следующим трем требованиям:

161

1. Состоятельность оценки. Оценка а* параметра а называется состоятельной, если при п оо она сходится по вероятности к па­ раметру а, т. е. при любом е>-0

Теорема. Для состоятельности оценки а* достаточно, чтобы при со

Д о к а з а т е л ь с т в о . По определению предела последова­

Это означает, что при n^>N1 вероятность выполнения неравен­ ства (6.15) не меньше вероятности выполнения неравенств (6.14)

Для оценки снизу правой части последнего неравенства, вос­ пользуемся неравенством Чебышева (5.123). Возьмем в этом нера-

162

противоположны. Поэтому

(6.17)

Из (6.16) и (6.17) следует, что

и этот предел равен 1*. Таким образом, справедливо (6.11), следо­ вательно, теорема доказана.

Покажем, что выборочное среднее т* и выборочная дисперсия с>2 являются состоятельными оценками математического ожидания

т и дисперсии а генеральной совокупности. Из свойств 1 и 4 мате­ матического ожидания следует:

пт

т. (6.19)

п

По определению дисперсии

° [ т'п]=М [[т' п - т)*\=М

Вынесем — за скобку:

п

Вычтем из каждого слагаемого под знаком суммы по т и выне-

сем неслучайный множитель — за знак математического ожидация:

После возведения в квадрат получаем:

* См. [1], § 5.5, теорема 1, стр. 142.

163

Применяя свойство 4 математического ожидания и вспоминая определение дисперсии и корреляционного момента, находим:

1 . В Ы + 2 ^ К щ

Представим каждое слагаемое

Возведем полученные выражения в квадрат и просуммируем по i поочередно первое, второе и третье слагаемые. После преобразова­ ний получим:

Пользуясь свойствами математического ожидания 2 и 4 и опреде­

164

Аналогичные, правда более громоздкие, вычисления дают;

где р&— центральный момент порядка k закона распределения

При многократном повторении оценок а* их значения группи­ руются около математического ожидания М [а*]. Разность между

математическим ожиданием оценки и истинным значением пара­ метра называется систематической ошибкой оценки. Если оценка несмещенная, то ее систематическая ошибка равна нулю.

Из (6.19) следует, что выборочное среднее т* является несме­

щенной оценкой математического ожидания. Выборочная диспер­ сия a2, как следует из (6.21), не является несмещенной оценкой

дисперсии генеральной совокупности.

Несмещенной оценкой дисперсии является величина

П

При большом объеме п выборки величины о2 и а2 мало отли­ чаются друг от друга, однако при малом п следует пользоваться оценкой а2.

Пример 5. В примерах 1 и 3 были вычислены математические ожидания т * = |* и выборочные дисперсии а2 высоты колец и диаметров голо­

вок заклепок соответственно. Как отмечалось, величина т* = |* яв­ ляется несмещенной оценкой математического ожидания. По из­

вестному объему выборки п и выборочной дисперсии о 2 найти несме­ щенную оценку дисперсии, используя результаты решения примеров

Р е ш е н и е . В примере 1 п = 10, о2 =0,193. Воспользовав­

шись формулой (6.24) находим, что несмещенная дисперсия высоты колец равна:

165

тому

а2п = 1,005-0,0120 = 0,0121.

Несмещенная оценка дисперсии практически не отличается от выборочной дисперсии.

3.Эффективность оценки. Если две величины а°п и а* являютс

несмещенными оценками параметра а, то выгоднее применять ту из них, значения которой меньше разбросаны вокруг математиче­ ского ожидания, т. е. оценку с меньшей дисперсией. Несмещенная оценка называется эффективной оценкой параметра а, если ее дис­ персия достигает минимального возможного значения по сравнению с дисперсиями других несмещенных оценок того же параметра.

Заметим без доказательства, что если закон распределения ге­ неральной совокупности нормальный, то оценки, полученные по методу максимума правдоподобия обладают минимальной диспер­ сией, хотя не все из них являются несмещенными. Оценка матема­ тического ожидания, полученная в случае нормального распределе­ ния по методу максимума правдоподобия, совпадает с т*п и потому

удовлетворяет всем трем требованиям: она является состоятельной, несмещенной и эффективной. Действительно, функция правдоподо­ бия в этом случае имеет вид:

Точка максимума этой функции совпадает с точкой минимума функции

g i = 2 (X t— m f ,

{=1

которая находится из условия

= 2 i ( X , - m ) = 0.

от

Откуда

П

Оценки числовых характеристик векторных случайных величин. Аналогичная задача оценки параметров закона распределения воз­ никает при обработке ограниченного числа наблюдений над век­ торными случайными величинами (системами случайных величин). Рассмотрим, например, точечные оценки числовых характеристик в случае, когда наблюдаются значения двух случайных величин (компонент двумерного случайного вектора). Результаты обследова­ ния выборки объема п представляют собой п пар:

(Xlt Yx), (Xt, Y%), . . . , (Хп, Yn).

166

Несмещенными точечными оценками математических ожиданий будут средние арифметические:

2 x t 2 Yt

Несмещенные оценки дисперсий и корреляционного момента

Точечная оценка а* параметра а распределения генеральной совокупности является случайной величиной, поэтому, чтобы иметь представление о погрешности такой оценки, нужно знать вероят­ ность ее большего или меньшего отклонения от оцениваемого пара­ метра. С этой целью в статистике вводится понятие доверительной вероятности и соответствующего ей доверительного интервала.

[ан, ав] называется доверительным интервалом параметра а соот­ ветствующим доверительной вероятности (3.

Таким образом, событие, состоящее в том, что доверительный интервал, вычисленный по выборочным значениям, накроет неиз­ вестный оцениваемый параметр а, является случайным. Вероят­ ность этого события равна заданной доверительной вероятности |3:

Заметим, что при этом параметр а хотя и неизвестен, но не слу­ чаен. Случайными величинами являются концы доверительного интервала, поскольку они функции значений случайной выборки. Обычно в качестве доверительной вероятности |3 берется число, близкое к единице (0,9 и более), чтобы можно было быть в большой степени уверенным, что оцениваемый параметр лежит внутри до­ верительного интервала. Вопрос о конкретной величине р решается из практических соображений.

Условие (6.25) не однозначно определяет положение доверитель­ ного интервала на числовой оси. Обычно либо дополнительно тре­ буют, чтобы доверительный интервал был симметричен относи­

167

либо требуют, чтобы вероятности положений доверительного ин­ тервала левее и правее оцениваемого параметра были равны; ввиду (6.25) концы интервала в этом случае удовлетворяют условию:

Если а* — несмещенная оценка параметра а и закон распреде­ ления ее симметричен относительно математического ожидания, то доверительные интервалы, определяемые условиями (6.26) и (6.27), совпадают.

Вычисление доверительного интервала для математического ожидания при известной дисперсии. Предположим сначала, что величина | в генеральной совокупности распределена по нормаль­ ному закону с математическим ожиданием т и дисперсией а2. Бу­ дем считать дисперсию а2 известной. В этом случае оценка

П

т"

1—1

математического ожидания генеральной совокупности распределена по нормальному закону с математическим ожиданием М [т* ] = т

Таким образом, половину длины г доверительного интервала, соответствующего доверительной вероятности |3, можно найти из условия

пределения с параметрами т = 0 и а = 1, т. е. корень уравнения

Ф((): Р (6.30)

Тогда

(6.31)

Уп

и, следовательно, доверительным интервалом для математического ожидания, соответствующим доверительной вероятности р будет интервал

168