ekz_terver_zima
.pdfС помощью полигона и гистограммы частот можно оценить вид функции плотности наблюдаемого распределения, ЭФР является оценкой (теоретической) функции распределения. С помощью анализа графиков можно сделать предположение (выдвинуть статистическую гипотезу) о типе наблюдаемого распределения.
Свойства ЭФР.
≤~ ( )≤
1)0 Fn x 1
~( )
2)Fn x — неубывающая, непрерывная слева ступенчатая функция
~( )
3)Fn x — случайная величина, т. е.
~ |
|
|
|
1 |
n |
|
|
1 |
|
n |
|
M Fn( x)=M ( |
|
∑ e( x− xi ))= |
|
|
∑ M (e( x−xi))= |
||||||
|
|
|
|||||||||
|
|
|
|
n i=1 |
|
|
n i=1 |
||||
n |
|
|
|
|
|
|
|
|
|
|
n |
1 ∑ (0 P{x≤xi }+1 {x> xi |
})= |
1 |
∑ Fξ ( x)=Fξ ( x) |
||||||||
n i=1 |
|
|
|
|
|
|
|
|
n i=1 |
||
~ |
|
1 n |
2 |
|
2 |
|
|
1 |
|
||
D Fn( x)= |
|
∑ |
( Me |
−( Me) )= |
|
n |
Fξ(x)(1−Fξ (x)) |
||||
|
|
||||||||||
|
|
n2 i=1 |
|
|
|
|
|
|
|||
4) Th.Гливенко |
|
|
|
|
|
|
|
||||
~ |
P |
|
|
|
|
|
|
|
|
|
|
Fn ( x)→ Fξ ( x) |
|
|
|
|
|
|
|
|
Док-во.
~ |
~ |
( x) |
|
Fξ ( x)(1−F |
ξ ( x)) |
D Fn |
|
||||
ε>0P{|Fn (x)− Fξ( x)|≥ε}≤ |
|
|
= |
|
|
ε2 |
|
n ε2 |
|
||
|
|
|
|
~P
т.е Fn ( x)→ Fξ( x)
→ 0
n→0
Оценки параметров распределения. Понятия статистики, оценки, выборочной характеристики. Несмещенные, состоятельные и эффективные оценки. Теорема о единственности эффективной оценки. Определение регулярной параметрической модели. Неравенство Рао-Крамера.
Информация по Фишеру. Построение эффективной по Рао-Крамеру для нормальногои показательного распределений. Теорема о несмещенной и состоятельной оценке математического ожидания. Теорема об эффективности выборочного среднего. Теорема о несмещенной и состоятельной оценке функции распределения. Теорема о несмещенной оценке дисперсии.
Понятия статистики, оценки, выборочной характеристики.
Статистической параметрической моделью или моделью эксперимента называется множество, состоящее из
{Xn, Fξ(x,θ) : θ Θ}
Xn - выборочное пространство, Xn = {xn = (x1, …, xn)}
Fξ(x,θ) — функция распределения с неизвестным параметром
Θ — параметрическое множество
Статистикой называется любая борелевская функция g(Xn) = g(x1, x2, … , xn)
Β(Rn) → Β(R) Например:
xn = min1 ≤ i ≤ n xi - такая величина называется первой порядковой статистикой
Оценкой параметра θ распределения L(x,θ) называется величина θ˜ = f(X1,X2,…,Xn), где f(t1,t2,…,tn) некоторая непрерывная функция.
Заметим, что θ˜ как функция от случайных величин также есть случайная величина.
Выборочными характеристиками называются функции от точечных оценок, приближенно оценивающие соответствующие числовые характеристики случайной величины. В случае равноточных измерений в качестве оценок математического ожидания, дисперсии, функции
распределения, начальных и центральных моментов и т.д. используются выборочное среднее, выборочные дисперсии, эмпирическая функция распределения, выборочные начальные и центральные моменты к-го порядка, выборочная мода, выборочная медиана и др.
Несмещенные, состоятельные и эффективные оценки.
Оценка θ˜ параметра θ называется несмещенной, если ~=
M θ θ
~ L
( θn→θ ).
~ P
Оценка θ˜ параметра θ называется состоятельной, если θn→θ , т. е.
(т.е. если оценка состоятельная, то при достаточно большом объеме выборки оценка параметра с высокой вероятностью практически равна параметру).
Говорят, что оценка θ˜ 1 параметра θ лучше оценки θ˜ 2 если дисперсия этой оценки
(~)< (~)
D θ1 D θ2
Пусть T — класс несмещенных оценок параметра θ. Оценка θ˜* называется эффективной оценкой параметра θ, если дисперсия
~ |
|
~ |
* |
|
|
D(θ |
)=inf D( θ ) |
|
|
~ |
T |
|
θ |
Так как нижняя грань множества не обязательно является элементом этого множества, то эффективная оценка не всегда существует, в этих случаях используется асимптотически эффективная оценка.
Теорема о единственности эффективной оценки.
|
|
~ |
~ |
|
Пусть |
θ1 |
и θ2 |
- это две несмещенные оценки параметра θ, если |
|
~ |
|
~ |
|
|
θ1 |
и |
θ2 |
— эффективные оценки, то |
|
|
|
~ |
~ |
(x¯n)}=0 |
P{x¯n ;θ1(x¯n)≠θ2 |
||||
|
~ |
|
~ |
|
Т.е. |
θ1 |
= |
θ2 |
|
Доказательство.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
~ ~ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
* |
= |
θ1+θ2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
Построим оценку |
|
θ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
~ |
~ |
|
|
|
|
|
|
|
|
|
~ |
|
|
~ |
|
θ+θ |
|
|
|
|
|
|
|
|
|
||||||||||
|
* |
= M( |
θ1+ |
θ2 |
)= |
M θ1+ M θ2 |
= |
=θ |
|
|
|
|
|
|
|||||||||||||||||||||||||||||
M θ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
2 |
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
2 |
|
|
|
|
|
|
|
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
θ*−несмещеннаяоценка |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||
|
* |
|
|
|
1 |
|
|
~ |
|
|
|
~ |
|
|
|
|
|
|
1 |
|
|
|
~ |
|
~ |
|
|
|
|
~ ~ |
1 |
|
~ |
~ ~ |
|||||||||
Dθ |
= |
|
|
D(θ1 |
+ |
θ2)= |
|
|
( Dθ1+ Dθ2+2cov(θ1 ,θ2))= |
|
( Dθ1 |
+ cov(θ1 ,θ2)) |
|||||||||||||||||||||||||||||||
|
4 |
|
4 |
2 |
|||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
~ ~ |
|
|
|
|
|
|
|
~ ~ ~ ~ |
|
|
|
~ ~ |
2 |
|
~ ~ 2 |
|||||||||||||||||||||||||
|cov(θ |
1 ,θ2)|=|M |
(θ |
1−M θ1)(θ2 |
−M θ2)|≤√M (θ1− M θ1) √M (θ2−M θ2) |
|||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
~ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
2 |
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
=√Dθ1 √Dθ2=Dθ1 |
|
|
|
|
|
|||||||||||||
Оценим |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
* |
|
|
|
|
* 1 |
|
|
|
|
|
|
~ |
+cov |
~ ~ |
|
|
|
1 |
|
|
~ |
~ ~ |
|
|
||||||||||||||||||
Dθ |
=|Dθ |
|= |
|
|
|Dθ1 |
(θ1 ,θ2)|≤ |
2 |
(|Dθ1|+|cov(θ1 |
,θ2)|)≤ Dθ1 |
||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
т. е. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
~ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
Dθ |
* |
|
|
|
|
т.к. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
<D θ1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
~ |
|
|
|
|
|
|
|
|
|
|
|
|
|
~ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
Dθ1=minD θ ,то |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||
|
* |
|
|
|
|
~ |
|
|
|
~ |
|
|
|
* |
− эффективная |
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
Dθ |
=Dθ1= Dθ2=θ |
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||
Получаем уравнение |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||
|
|
|
|
|
|
|
|
* |
|
|
|
1 |
|
|
|
|
~ |
|
1 |
|
|
|
|
~ |
~ |
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
Dθ = |
|
|
|
Dθ1+ |
|
cov(θ1 |
,θ2) |
|
|
|
|
|
|
|||||||||||||||||||||||
|
|
|
~ |
|
2 |
2 |
|
|
|
|
|
|
|||||||||||||||||||||||||||||||
|
|
|
|
~ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
~ |
|
|
~ |
~ |
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
* |
|
|
|
|
|
~ |
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
cov(θ1 |
,θ2)=2 Dθ |
|
− Dθ1 |
=2 Dθ1− Dθ1= Dθ1 |
|
|
|
|
|
||||||||||||||||||||||||||||||||||
Вычислим коэффициент корреляции |
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
~ ~ |
|
|
|
|
|
|
|
|
|
|
~ |
|
|
|
~ |
|
|
~ |
|
|
|
|
|
|
|
||||||||||||
r= |
|
|
cov(θ |
1 ,θ2) |
|
|
|
|
Dθ1 |
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||
|
|
|
|
|
|
|
= |
|
|
|
|
~ |
=1 |
θ2=a θ |
1+b |
|
|
|
|
|
|
||||||||||||||||||||||
|
|
|
|
~ |
|
~ |
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||
|
√Dθ1 √Dθ2 |
|
Dθ1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||
Найдем a и b: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
~ |
|
|
|
|
~ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
~ ~ |
|
|
||||||
M θ2=aM θ1+b |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
{ θ=a θ b |
|
|
|
|
|
|
a=1,b=0 т.о.доказаночто θ2=θ1 |
|
|||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Определение регулярной параметрической модели.
Пусть { Xn ;Fξ ( x,θ):θ Θ }−параметрическая модель
Xn — выборочное пространство
Fξ(x,θ) — известная с точностью до параметра функция распределения Определение.
Модель называется регулярной, если
1) параметрическое множество Θ имеет вид Θ = (a, +∞) - открытое множество
2) носитель распределения — множество A={x R; f ( x)>0} - оно не зависит от параметра
3)для любого θ Θ и во всех точках x A существует конечная производная
δ f ξ ( x ,θ) <+∞
δ θ
M ( |
δ ln( f ξ |
(x,θ)) |
)=ξ |
||||
|
|
δ |
θ |
||||
4) При всех параметрах θ Θ |
|
|
|
|
|||
δ ln(f |
|
( x,θ)) 2 |
|||||
|
ξ |
||||||
M ( |
|
|
|
|
) <+∞ |
||
|
δ |
θ |
|
||||
|
|
|
|
|
+∞
5)∫ f ( x ,θ) dx - дважды дифференцируем по параметру θ под знаком
−∞
интеграла
Неравенство Рао-Крамера. Информация Фишера
~
Пусть модель регулярна θn - несмещенная оценка параметра θ.
~ |
1 |
|
δ ln(f (ξ ,θ)) 2 |
|
D(θn)≥ |
|
,где I(θ)=M ( |
|
) − |
n I(θ) |
δ θ |
информацияФишера водном наблюдении
Доказательство.
Рассмотрим непрерывную модель с функцией плотности f ξ (x ,θ) ; А множество A={x :f ξ ( x,θ)>0}
- независимые случайные величины f xi=f ξ( x ,θ) привсехi
Построим функцию плотности распределения выборки
Функция плотности f x¯n (t¯n) удовлетворяет свойству∫ f xn¯ (t¯n)=1
таким образом
∫ f xn¯ (t¯n ,θ) dt¯n=∫ f xn¯ (t¯n ,θ) dt¯n=1
Rn |
An |
|
|
|
|
|
|
∫ |
δ f |
xn¯ |
(t¯ ,θ) |
|||
δ |
∫n |
|
|
|
|
|
|
n |
||||
f |
xn¯ |
(t¯ ,θ) M |
= |
An |
|
|
|
|
dt¯ =0 |
|||
δ θ |
|
|
δ θ |
|
||||||||
|
n |
n |
|
|
|
|
n |
|||||
|
A |
|
|
|
|
|
|
|
|
|
|
|
Преобразуем выражение под знаком интеграла
|
δ f ( x,θ) |
= |
δ ln(f (x ,θ)) |
f ( x ,θ) |
|||||
|
|
|
|
|
|
||||
|
δ θ |
|
δ θ |
|
|
||||
Тогда получим: |
* |
|
|
|
|
|
|||
∫δ ln(f xn¯ (t¯n ,θ)) |
|
|
|
||||||
|
An |
|
|
|
f |
|
(t¯ ,θ)dt¯ =0 |
||
|
|
|
|
|
|
xn¯ |
|||
|
δ θ |
|
|
|
|
n |
n |
||
|
|
|
|
|
|
|
|
Рассмотрим оценку
~= ~=∫~ ( ¯ )
M θn θ M θn θn tn f
An
~
так как θn несмещенная →
x |
(t¯ ,θ)dt¯ =θ |
|
n |
n |
|
¯ |
|
|
продифференцируем по θ : **
∫ |
~ |
|
|
δ ln(f |
xn¯ |
(t¯ ,θ)) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||
(t¯n) |
|
|
|
|
|
n |
|
|
f x¯n (t¯n ,θ) dt¯n=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||
θn |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
δ θ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||
An |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
∫ |
θ |
δ ln f xn¯ (t¯n ,θ) |
f |
|
|
(t¯ ,θ)d t¯ |
=0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
xn¯ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||
|
|
|
|
|
|
|
δ θ |
|
|
|
|
|
|
n |
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
An |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
~ |
|
|
|
|
δ lnf |
xn¯ |
(t¯ ,θ) |
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
1=∫(θn−θ) |
|
|
|
|
|
|
|
|
|
f xn¯ (t¯n ,θ) dt¯n |
|
|
|
|
|
|
|
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
δ |
θ |
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
An |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
2 |
|
|
|
|
|
|
2 |
|
|
~ |
|
|
|
|
|
|
|
|
|
|
(t¯ |
|
|
|
|
|
|
|
δ ln f xn¯ |
(t¯n ,θ) 2 |
|
|
|
(t¯ ,θ)=I I |
|
||||||||||
1 |
|
=(...) ≤ |
(θ |
−θ)d F |
xn¯ |
,θ) |
|
( |
|
|
|
|
|
|
) d F |
xn¯ |
2 |
|||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
∫ |
|
n |
|
|
|
|
|
|
|
|
|
n |
|
|
|
∫ |
|
|
|
|
δ θ |
|
n |
|
1 |
|||||||||||
|
|
|
|
|
|
|
|
|
|
An |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
An |
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
~ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
I1=Dθn |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
δ lnf (ti ,θ) |
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
δ ln f (ti ,θ) |
|
2 |
|
|
|
|
|||||||||||
|
I |
|
= ( |
|
|
) f |
|
|
(t¯ ,θ)dt¯ = |
|
∑ |
( |
) f |
|
(t¯ ,θ)dt¯ = |
|||||||||||||||||||||||||||||||
|
2 |
|
|
xn¯ |
|
|
xn¯ |
|||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
∫ |
|
|
δ θ |
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
n |
∫ |
|
δ θ |
|
|
|
|
n |
n |
|||||||||||||
|
|
|
|
|
|
|
A |
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
A |
n |
i=1 |
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
δ lnf (ti |
,θ) 2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
∑∫( |
|
|
|
|
|
|
|
|
|
) f ¯x(t1 ,t2 ,...,tn ,θ)dt1 ...dtn= |
|
|
|
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
δ θ |
|
|
|
|
|
|
||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
i=1 |
|
A |
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
2 |
|
|||
∑∫ f (t1) dt1 ...∫(ti)2 f (ti) dti...∫f (tn) dtn=∑ M ( |
δ ln f (ξ ,θ) |
) =n I(θ) |
||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||||
i=1 A |
|
|
|
|
|
|
A |
|
|
|
|
|
|
|
|
|
|
|
|
A |
|
|
|
|
|
|
|
i=1 |
|
|
|
δ θ |
|
|
|
|
таким образом
|
~ |
|
|
|
|
|
|
|
|
||
1≤ D θ n I (θ) |
|
|
|
|
|
|
|||||
~ |
|
1 |
|
|
|
|
|
|
|
|
|
D θ ≥ |
|
|
|
|
|
|
|
|
|
||
n I (θ) |
|
|
|
|
|
|
|||||
неравенство доказано |
|
|
|
|
|
|
|||||
Замечание |
|
|
|
|
|
|
|||||
[ ( |
2 |
|
|
|
|
2 |
|
||||
δ ln f (ti ,θ))] f (t¯ ,θ) dt¯ = |
( δ ln f (ti ,θ)) f (t¯ )d t¯ + |
||||||||||
n |
|
|
|
|
|
|
n |
|
|
|
|
∫ ∑ |
|
|
|
|
|
xn¯ n |
n ∫ ∑ |
|
|
|
xn¯ n n |
|
|
δ θ |
|
δ θ |
|
||||||
An i=1 |
|
|
|
An i=1 |
|
|
|
∫ ∑ |
|
δ ln f (ti ,θ) |
|
δ ln f (tj |
,θ) |
|
|
¯ |
¯ |
|
|
|
( |
δ θ |
) ( |
|
δ θ |
|
) f ¯x |
(tn,θ) dtn=n I (θ)+0 |
|||||
An i≠ j |
|
|
|
|
|
|
|
|
|
|
||
i, j=1¯,n |
|
|
|
|
|
|
|
|
|
|
|
|
Так как |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
f x1, x2, ..., xn(t1 ,..,tn)=f x1 (t1)...f xn(tn) |
|||||||
xi и xj - независимы => |
∫( |
δ ln f (ti ,θ) |
f xi |
(ti |
,θ) dti)= |
δ |
1=0; i≠ j |
|||||
|
|
|
||||||||||
|
|
|
δ θ |
|
|
|
||||||
|
|
|
A |
|
|
|
|
|
|
δ θ |
Построение эффективной по Рао-Крамеру для нормальногои показательного распределений.??
Оценка называется эффективной по Рао-Крамеру, если величина
показателя эффективности e(θ)= |
1 |
для нее равен 1 |
~ |
||
|
Dθn nI (θ) |
|
По теореме единственности оценка эффективности Рао Крамера является эффективной, обратное не верно.
Критерий эффективности
|
|
~ |
|
(e(θ)=1) тогда и |
Оценка |
θn является эффективной по Рао-Крамеру |
|||
только тогда, когда |
|
|||
|
δ ln f xn¯ |
( x¯n ,θ) |
~ |
|
|
|
|
=(θn−θ) α(θ) |
|
|
δ |
θ |
|
|
|
|
|
т. е. Может быть выделен множитель, зависящий от θ
Теорема о несмещенной и состоятельной оценке математического ожидания.
Пусть X1,X2 ,…, Xn L(x,θ) --- выборка из распределения сл.в. ξ с конечным математическим ожиданием Mξ = a < ∞. Выборочное среднее ¯x является несмещенной и состоятельной оценкой математического ожидания.
Доказательство. Докажем несмещенность M ¯x=Mξ=a .
Действительно
Докажем состоятельность, т.е. что
ε>0lim P{|¯x−a<ε|}=1. ПонеравенствуЧебышёва ε>0
n→∞
|
¯ |
−a|<ε}≤1 . |
||
С другой стороны, по свойству вероятности имеем P{|x |
||||
¯ |
−a|<ε}=1 |
|
|
|
Таким образом, доказано что ε>0lim P{|x |
и оценка x |
|||
n→∞ |
|
|
|
|
является состоятельной. |
|
|
|
|
Теорема о несмещенной и состоятельной оценке функции распределения.
Пусть X1,X2,…,Xn L(x,θ) --- выборка из распределения сл.в. ξ с
функцией распределения |
Fξ( x)= P{ξ< x} |
. Эмпирическая функция |
||
~ |
( x) является несмещенной и состоятельной |
|||
распределения (ЭФР) Fn |
||||
оценкой функции распределения |
Fξ( x) . |
|
|
|
Доказательство. |
|
|
|
|
|
|
~ |
μ (x) |
|
Рассмотрим вначале ЭФР в виде |
Fn ( x)= |
|
где μ(x) --- число |
|
|
||||
|
|
|
n |
элементов выборки строго меньших x R. Величина μ(x) является случайной, принимает значения из множества {0 ,…, n} с вероятностями
Таким образом, величина μ(x) распределена по биномиальному закону Bi (n,p) с параметрами n и p=Fξ(x) , а значит, имеет числовые характеристики M μ( x)=nFξ( x)иDμ( x)=nFξ( x)(1−Fξ( x))
Для доказательства несмещенности найдем ~n( ) .
M F x
что по определению означает несмещенность оценки. Для доказательства состоятельности снова воспользуемся неравенством Чебышёва. Для любого ε>0 имеем
|
~ |
( x)− Fξ|<ε}≤1 |
|
Учитывая, что P{|Fn |
доказана состоятельность оценки |
||
~ |
(x) для функции распределения |
Fξ( x) . |
|
Fn |
Теорема о несмещенной оценке дисперсии.
Пусть X1, X2,…,Xn L(x,θ) --- выборка из распределения сл.в. ξ с конечным математическим ожиданием Mξ = a < ∞ и дисперсией Dξ = σ2. Выборочная дисперсия:
~2 |
|
1 |
n |
2 |
σ |
= |
|
∑ ( Xi−¯x) |
|
|
||||
|
|
n−1 i=1 |
|
является несмещенной оценкой дисперсии. Доказательство.
Так как элементы выборки предполагаются независимыми случайными величинами, то при i≠j:
M( Xi Xj)= M( Xi) M ( X j)=a a=a2 Еслиi= j,то M ( Xi X j)=M ( X2i )=σ2+a2
~2 2
Для доказательства несмещенности покажем, что M (σ )=σ .
(1)
Рассмотрим первое слагаемое, стоящее в скобках под знаком суммы. Так как элементы выборки представляют собой одинаково распределенные случайные величины, то
M ( X21)=...=M ( X2n)=Mξ2=Dξ+( Mξ)2=σ2+a2
Второе слагаемое можно записать в виде:
При вычислении третьего слагаемого одно x распишем по определению, второе x оставим в прежнем виде. Получим:
Подставляя полученные выражения в (1) получаем требуемое равенство.