Стеграммы лекций 6-10 и 13

Лекция №9 Точечные оценки

Определение понятия оценки Качество оценки

Определение. Точечной оценкой параметра назовем способ определения ожидаемого значения параметра случайной величины по набору ее наблюдений.

Пусть имеется 5 наблюдений x1, x2 ,..., x5 некоторой случайной величины и нам

необходимо указать величину ее математического ожидания. Например, можно составить несколько предложений по ее оценке:

1)x1 ... x5 5 ;

2)x1 x3 2 ;

3)4;

4)x1 ;

5)2x3 x4 ;

6)x1 x2 2 2 ;

7)Max Min 2 ;

8)Me .

Здесь в варианте №7 Max и Min – максимальное и минимальное значение из наблюдаемого набора x1, x2 ,..., x5 , а в варианте №8 Me – стандартная оценка медианы, т.е. третье по величине значение из наблюдаемого набора x1, x2 ,..., x5 , отсортированного по возрастанию.

Наиболее употребительной является оценка типа №1 – среднее арифметическое среди всех наблюдений. Однако из того, что что-то является наиболее часто используемым, еще не следует, что это лучший выбор.

Основная прелесть оценки типа №3 в том, что для нее вообще не нужны какие-то фактические данные. Неплоха также оценка типа №4 – один раз померил и хватит.

Главное возражение против оценки №3 в том, что она наверняка даст ошибочное значение. Но ведь и стандартная оценка типа №1 тоже наверняка даст не точное значение математического ожидания, а какое-то другое, пусть и близкое число. Для того, чтобы выяснить, какой способ оценки параметров лучше, введем несколько формальных определений.

Определение. Оценочной функцией f параметра от n аргументов назовем любую функцию от n аргументов, принимающую числовые значения.

Перечисленные выше восемь способов угадывания математического ожидания соответствуют восьми разным оценочным функциям от 5 аргументов.

Определение. Оценкой параметра случайной величины при помощи оценочной

случайные величины, распределенные так же, как .

Таким образом, оценка – новая случайная величина, распределение которой зависит как от распределения исходной случайной величины, так и от того, какая оценочная функция была выбрана. Теперь можно перейти к выяснению, какая оценка и в каком смысле лучше.

Определение. Оценка параметра случайной величины при помощи оценочной функции f называется несмещенной, если M f 1,..., n .

Таким образом, несмещенная оценка – такая оценка, которая в среднем дает правильное значение. Понятно, что «хорошая» оценка должна быть несмещенной. Согласно свойствам математического ожидания из предыдущей лекции, оценочные функции №1, 2, 4 и 5 порождают несмещенные оценки.

Если случайная величина распределена симметрично, то ее математическое ожидание совпадает с медианой. В этом случае оценки № 7 и 8 также являются несмещенными оценками математического ожидания. Если случайная величина распределена по Пуассону, то оценка №6 – тоже несмещенная, поскольку дает несмещенную оценку дисперсии, которая для пуассоновых случайных величин равна математическому ожиданию:

M 1 2 2 2 12 D 1 2 12 D 1 D 2 D

Иногда добиться несмещенности оценки не удается, тогда используется ее более слабый, предельный вариант.

Определение. Оценка параметра случайной величины при помощи оценочной функции f называется асимптотически несмещенной или состоятельной, если

M f 1,..., n при n .

Таким образом, состоятельные оценки – такие оценки, смещение которых стремится к нулю при увеличении объема наблюдений.

Если у нас имеется несколько несмещенных оценок, т.е. оценок, дающих в среднем правильное значение параметра, то лучше будет та оценка, у которой статистические

погрешности меньше. Поскольку мерой статистического разброса значений служит дисперсия, имеем

Определение. Одна несмещенная оценка параметра называется эффективнее другой несмещенной оценки этого параметра, если для любой случайной величины ее дисперсия меньше.

Сравним эффективность несмещенных оценок математического ожидания типа №1, 2, 4, и 5.

Согласно свойствам дисперсии из предыдущей лекции дисперсия оценки №1 равна D 1 ... 5 5 D 5 , оценки №2 – D 1 3 2 D 2 , оценки №4 – D . Дисперсия оценки №5 равна D 2 3 4 D 2 3 D 4 4D 3 D 4 5D , т.е. этот способ оценки даже значительно хуже, чем оценка №4 по одному наблюдению.

Итак, у нас получилось, что оценка №1 математического ожидания по среднему арифметическому является наиболее эффективной среди выбранных несмещенных оценок. В общем случае, существует теорема о том, что для нормально распределенных случайных величин такая оценка – самая эффективная среди всех возможных. Поэтому в пакетах статистических программ оценка математического ожидания через среднее арифметическое используется не только как вариант по умолчанию, а просто как единственно возможная.

Однако, если случайная величина распределена симметрично, то оценки №7 и 8 тоже являются несмещенными. Если при этом случайная величина распределена более компактно, чем нормальная (коэффициент эксцесса отрицателен), то оценка №7 (полусумма максимума и минимума) уже будет давать меньшую дисперсию, чем оценка математического ожидания через среднее арифметическое. Если случайная величина распределена менее компактно, чем нормальная (коэффициент эксцесса положителен), то оценка №8 (медиана) будет иметь меньшую дисперсию, чем оценка математического ожидания через среднее арифметическое.

Для описания устойчивости оценки к грубым промахам и выскакивающим вариантам используют следующую характеристику.

Определение. Робастностью оценки называется ее устойчивость к сильным возмущениям малой доли наблюдений.

Например, для измерения тока в схеме используют цифровой мультиметр, который, если замкнуть контакты, выдает значение 9999,99. Тогда если датчик замыкает примерно на каждом сотом образце, то среднее арифметическое от показаний мультиметра будет больше 100. Легко видеть, что стандартная оценка математического ожидания через среднее арифметическое неробастна, т.е. неустойчива к большим возмущениям малой доли наблюдений.

Итак, по умолчанию для оценки математического ожидания используется среднее арифметическое. Достоинства этой оценки:

1)Несмещенность.

2)Наилучшая эффективность при работе с нормально распределенными случайными величинами.

Недостатки этой оценки:

1)При работе с некоторыми специальными классами случайных величин есть более эффективные оценки.

2)Оценка неробастна, поэтому при работе со средним арифметическим нужно также анализировать распределение на наличие выскакивающих вариант (грубых промахов).

Внекоторых случаях, когда имеется достаточно подробная информация о характере распределения изучаемой случайной величины, более эффективными оценками математического ожидания может оказаться не среднее арифметическое, а другие оценки.

Оценка дисперсии

В соответствии с определением дисперсия – математическое ожидание квадрата отклонения случайной величины от своего математического ожидания. Поэтому если известно, что случайная величина имеет математическое ожидание m, то стандартная оценка дисперсии по наблюдениям x1,..., xn имеет вид

S1n x1 m 2 ... xn m 2

Всоответствии с несмещенностью стандартной оценки математического ожидания через среднее арифметическое, это несмещенная оценка дисперсии. Однако, задача определения дисперсии у случайной величины с известным математическим ожиданием достаточно специфична. Значительно чаще у случайной величины неизвестны и математическое ожидание, и дисперсия. В этом случае совершенно естественно в оценку S вместо неизвестного математического ожидания подставить его стандартную

несмещенную оценку через среднее арифметическое x x1 ... xn n :

S 1n x1 x 2 ... xn x 2

Наверное, именно кажущейся естественностью построения этой оценки можно объяснить тот факт, что только в 20 веке заметили, что новая оценка – смещенная. Причина смещенность в том, что по одному и тому же набору наблюдений оцениваются и среднее арифметическое, и отклонение от него, и эти величины не являются независимыми. Получить необходимую поправку очень просто, что мы сейчас и сделаем.

Заметим, что если прибавить к наблюдаемой случайной величине константу, то величина оценки S не изменится. Следовательно, без ограничения общности можно

Изучим вопрос о том, как сконструировать оценку параметра. Наиболее используемый для этого метод называется методом наибольшего правдоподобия.

Пусть у нас имеется дискретная случайная величина , заданная с точностью до параметра , т.е. для любого элементарного события x его вероятность P x есть функция от . Пусть при N наблюдениях случайной величины были получены значения x1,..., xn . Обозначим

L P x1 ... P xn ,

то есть L – вероятность того, что будет получен тот набор наблюдаемых значений, который и был в действительности, при этом L – функция от . В качестве оценки параметра по набору наблюдений x1,..., xn возьмем то значение , при котором L максимально.

Другими словами, при оценке по методу максимального правдоподобия берется то значение параметра, при котором наблюдаемый набор значений наиболее вероятен. При нахождении максимума функции L обычно легче находить не максимум самой

функции, а ее логарифма ln L .

Например, пусть – случайная величина, распределенная по Пуассону с неизвестным математическим ожиданием . Тогда в соответствии с определением распределения Пуассона вероятность того, что она примет целое значение x , равна

x e

x!

Если в результате наблюдений был получен набор значений x1,..., xn , то

В результате получили стандартную оценку математического ожидания через среднее арифметическое.

Если параметров, от которых зависит распределение случайной величины, несколько, то в этом случае максимум L ищется как максимум функции нескольких переменных. Если метод наибольшего правдоподобия применяется к исследованию

изменится функция правдоподобия, если вместо смещенной оценки дисперсии использовать несмещенную?

Лекция №10 Интервальные оценки параметров

Интервальные оценки параметров Определение достоверности различий Центральная предельная теорема

На прошлой лекции мы изучили вопрос о том, какое наилучшее значение параметра можно получить на основании имеющихся наблюдений. Если используется несмещенная оценка параметра, то математическое ожидание оценки равно искомому параметру. Однако оценка, даже несмещенная, – случайная величина, которая может принимать значения, не совпадающие со своим математическим ожиданием. На этой лекции мы будем выяснять, насколько вероятны расхождения между ожидаемыми и истинными значениями параметров.

Для того чтобы рассчитать вероятность того или иного отклонения оценки от ее математического ожидания, нужно знать, как оценка распределена. Распределение оценки зависит как от используемой оценочной функции, так и от распределения наблюдаемой случайной величины. Тут мы попадаем в своего рода замкнутый круг, поскольку если известно распределение случайной величины, то зачем вычислять распределение оценки и по наблюдаемым данным оценивать параметры? А если распределение случайной величины неизвестно, то и распределение оценки мы вычислить не сможем.

Для решения поставленной задачи используют подход, при котором получают приближенные распределения оценки. Поскольку основная оценка математического ожидания – среднее арифметическое, а большинство оценок других параметров основано на математическом ожидании, то главный вопрос при изучении оценок – как распределено среднее арифметическое из набора независимых наблюдений случайной величины.

Ответ на этот вопрос дает центральная предельная теорема, утверждающая, что

среднее арифметическое достаточно большого количества одинаково распределенных независимых случайных величин имеет распределение, близкое к нормальному.

Нужно понимать, что все оценки достоверности различия математического ожидания и других основанных на нем параметров рассчитываются в пакетах статистических программ в предположении о нормальности распределения выборочного среднего арифметического. Проверка корректности этого предположения и оценка величины полученных ошибок является обязательной частью статистического анализа, проведение которой возлагается на исследователя. Основная ошибка, к которой приводит необоснованное использование предположения о нормальности – многократное завышение достоверности различий.

В каких же случаях можно считать, что среднее арифметическое распределено нормально? В приведенной выше формулировке ЦПТ важно каждое условие, и невыполнение любого из них может привести к тому, что предел не будет сходиться к нормальному.

Во-первых, случайная величина должна иметь конечное математическое ожидание и дисперсию. Основная сложность здесь в том, что у случайных величин с бесконечным математическим ожиданием или дисперсией последовательность выборочных средних не сходится, а флуктуирует, порождая все более дикие распределения.

Во-вторых, случайные величины должны быть одинаково распределены.

В-третьих, наблюдения должны быть независимы. Несмотря на кажущуюся прозрачность этого требования обосновать правомочность очень сложно.

В формулировке теоремы указывается сходимость, но не указана скорость этой сходимости. Хотя общих оценок скорости сходимости к нормальному распределению нет, есть оценки скорости сходимости в зависимости от коэффициента эксцесса. Если у случайной величины коэффициент эксцесса около нескольких единиц или меньше, то при работе с доверительной вероятностью p=0,05 достаточно 30 или более наблюдений. Медленно сходятся к нормальному случайные величины с большими коэффициентами эксцентриситета. Поэтому наличие выскакивающих вариант (грубых промахов) не только затрудняет содержательный анализ среднего арифметического, но и понижает точность оценки математического ожидания.

К сожалению, этих правил часто оказывается недостаточно – например, исследуемая случайная величина может иметь большой коэффициент эксцесса, однако необходимое количество наблюдений при сравнении средних арифметических может оказаться небольшим. Поэтому обычно применяется два метода исследования величины погрешности при расчете достоверности различий: случайное деление выборки пополам и отбрасывание крайних значений и сравнение результатов расчета оценки с ними.

Оба способа строятся на некоторых не обязательно точно выполняющихся предположениях. Однако в данном случае и не ставится задача получить точную величину ошибок, идея этого анализа другая: если исходное предположение о примерной нормальности распределения среднего применимо, то разные способы оценки дадут согласованные результаты, а если неприменимо – то разные.

В случае, если предположение о нормальности распределения среднего оказывается некорректным, то применяются специальные непараметрические методы, рассмотрение которых выходит за рамки нашего курса.

Определение достоверности различия дисперсии

Достоверные различия средних арифметических могут быть получены как за счет действительно существующих различий среднего и ожидаемого, так и за счет большего разброса. Поэтому рассмотрение вопроса о достоверности различий начнем с дисперсии и