Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

Ежов - ТеорВер

.pdf
Скачиваний:
18
Добавлен:
19.03.2015
Размер:
696.75 Кб
Скачать

8.6. Точковi оцiнки

 

 

 

 

 

 

81

 

 

 

 

 

 

 

 

 

 

Визначимо математичне сподiвання Mθ i дисперсiю Dθ в розподiлi F (·, θ). Маємо

 

 

 

 

n

 

 

 

 

 

 

 

 

 

1

j

 

 

 

 

(8.27)

M µn =

 

M ξj = µ .

 

 

 

 

θ

6

n

θ

 

 

 

 

 

 

 

 

=1

 

 

 

 

 

 

 

Тодi, якщо як оцiнку математичного сподiвання µ = τ (θ) ми будемо використовувати µn

, ми

не будемо робити систематичної похибки в тому розумiннi, що

6

 

 

 

 

Mθ (µn − µ) = 0 .

 

 

 

 

Оцiнки, що мають властивiсть (8.27),

називаються незмiщеними.

 

6

 

 

 

 

 

 

Далi маємо

 

 

 

n

 

 

 

 

 

 

 

Mθ (µn − µ)2

1

j

Dθ ξj =

σ2

 

 

 

 

= Dθ µn = n2

 

n .

 

 

 

 

6

6

 

=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Тобто D µ6n 0, n → ∞, i вiдповiдно до (6.3) µ6n за ймовiрнiстю прямує до µ при n → ∞.

θ

Це означає, що розподiл µ6n концентрується навколо µ, оскiльки

 

σ2

(8.28)

P {|µ6n − µ| > ε|θ} ≤

2

−→ 0, n → ∞

для довiльного ε > 0.

Оцiнки, що мають властивiсть (8.28), називаються слушними. Це бажана властивiсть оцiнок, але вона не визначає якостi оцiнок при фiксованому n. Ми можемо якiсть оцiнки визначити як вiдхилення µ6n вiд µ та задати її числом

M (µ6n − µ)2 .

θ

Природно, чим менше ця величина, тим краще оцiнка. Видно, що для незмiщеної оцiнки ця якiсть визначається дисперсiєю. Тому найкращу оцiнку µ можна визначити як оцiнку iз мiнiмальною дисперсiєю серед усiх незмiщених оцiнок.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

1

 

 

1

k

=

 

Дослiдимо роль незмiщеностi. Нехай є k незалежних вибiрок ξ

= (ξ1

, . . ., ξn1), . . ., ξ

k

k

iз розподiлу

 

 

 

 

 

 

 

 

 

 

 

1

),

k

)

(ξ1

, . . . , ξnk )

F (x, θ). На основi цих вибiрок побудуємо оцiнки

t1(ξ

. . . , tk (ξ

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

значення τ (θ), причому

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i

 

 

 

 

 

 

i

 

2

≤ σ

2

 

 

 

 

 

 

 

(8.29)

 

 

 

 

 

 

 

, i = 1, k .

 

 

 

 

 

Mθ ti(ξ

) = τ (θ) + εi

, Dθ ti(ξ

) = σi

 

 

 

 

 

Побудуємо статистику

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

k

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

j

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

j

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(8.30)

 

Tk =

k

 

=1

tj (ξ

) ,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i знайдемо

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

k

 

 

 

 

 

k

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

j

 

1

j

 

 

 

 

 

 

 

 

(8.31)

 

M Tk =

 

 

M tj (ξ

) = τ (θ) +

 

εi

 

 

 

 

 

θ

 

k

 

θ

 

 

 

k

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

j=1

 

 

 

 

=1

 

 

 

 

 

 

 

 

 

 

 

82

 

 

 

 

 

Роздiл 8.

Математична статистика

та

 

 

 

 

 

 

 

 

k

 

 

 

 

 

1

j

 

σ2

(8.32)

Dθ Tk =

k2

=1

σj2

k

0, k → ∞ .

 

 

 

 

 

 

 

 

 

j

 

 

 

 

 

 

k

 

 

 

 

Якщо змiщення k1

=1 εi не прямує до нуля при k → ∞, то Tk при k → ∞ не збiгається до

справжнього значення τ (θ). Якщо, наприклад, εj = ε, то Tk збiгається за ймовiрнiстю до

 

 

 

 

 

 

 

 

 

 

 

 

 

τ (θ) + ε, що є небажаним. З iншого боку, якщо εj = 0, j = 1, k, то ми отримаємо додавання

iнформацiї про

 

 

 

j

)

(тобто зникає

τ (θ), що мiститься в незалежних незмiщених оцiнках

tj (ξ

 

 

 

 

 

 

 

 

 

 

iнформацiя про τ (θ)).

 

 

 

 

 

Разом з тим очевидно, що якщо ми маємо оцiнку t iз мiнiмальним вiдхиленням

 

 

 

 

 

 

 

 

 

˘

 

 

 

 

2

 

θ

 

2

(8.33)

θ

=

t

 

M

˘

 

τ (θ)

 

min M

t

τ (θ) ,

 

t

 

 

 

то за iнших рiвних умов вимога щодо незмiщеностi може лише збiльшити вiдхилення (8.33),

оскiльки умова звужує клас оцiнок, на яких шукається мiнiмум в (8.33). Бiльш

M t = τ (θ)

θ

того, клас незмiщених оцiнок взагалi може виявитися порожнiм.

Приклад 46. Нехай ξ - кiлькiсть успiхiв у послiдовностi n незалежних iспитiв Бернуллi iз невiдомою ймовiрнiстю p = θ, 0 < θ ≤ 1 , i нехай необхiдно знайти незмiщену оцiнку

τ (θ) = 1/θ.

Для будь-якої оцiнки t(ξ) повинна виконуватися рiвнiсть

n

 

i

1

Mθ t(ξ) = Cni θi(1 − θ)n−it(i) =

θ

=0

 

для всiх θ (0, 1]. Але це неможливо, оскiльки для довiльної функцiї t(·) при θ → 0 має мiсце рiвнiсть: Mθ t(ξ) = Cn0t(0) , а в той же час θ1 → ∞.

Розглянемо далi статистику

 

 

 

 

 

 

 

j

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

σ2

=

 

 

 

 

 

 

(ξ

j

µ

)2 =

(I − Π1)ξ

 

,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(8.34)

 

 

n

 

 

n

 

1

 

=0

 

 

 

n

 

 

 

 

 

 

 

n

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

6

 

 

 

 

 

 

 

 

 

 

 

6

 

 

 

 

 

 

N (µ, σ

2

). Згiдно з (8.13) статистика (8.34) має розподiл

де ξ = (ξ1, . . . , ξn) є вибiркою iз

 

 

σ2

 

. Тодi

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

χ2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n − 1 n−1

 

 

 

 

 

 

 

 

 

 

M

σ2

=

 

σ2

 

M χ2

 

 

= σ2

,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n−1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

θ

 

 

n

 

 

 

 

 

 

 

 

n−1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

σ

2

 

 

 

 

σ4

 

 

 

 

 

2

 

 

 

 

 

2σ4

 

 

, n

 

 

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

=

 

(n1)2 n−1 = n1 0

→ ∞

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Dθ 6n

 

 

 

 

 

 

Таким чином,

σ

2

є

незмiщеною (слушною) оцiнкою σ

2

 

 

,

 

 

2

)

. У той же час

 

 

= τ (θ)

θ = (µ, σ

n

 

 

 

n

 

6

 

 

 

 

 

 

 

 

 

 

n2

 

 

 

 

 

 

 

 

 

 

 

 

6

 

 

 

 

θ

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

M

 

1

 

 

(I Π1)ξ

2

 

σ2

2

 

 

=

 

σ4

 

2(n 1) + (n 1)2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

σ4

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

(n−1) + σ4 = (

 

 

 

)σ4 < Dθ σ6n2 , n = 1, 2, . . .

 

 

 

 

 

 

 

 

 

 

 

 

 

n

n

n2

 

 

8.6. Точковi оцiнки

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

83

Тому для кожного n = 1, 2, . . . статистика

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

1

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

σ2

 

 

 

 

 

σ2

 

σn

=

n

(I − Π1)ξ

 

 

 

 

 

 

менше вiдхиляється вiд

, чим

,

хоча i має змiщення, оскiльки

 

 

 

 

n

=

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

6

 

 

M σn2

= σ2

 

 

σ2

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

2

 

 

 

 

σ2

θ =

 

 

 

 

 

 

 

 

 

 

Внаслiдок того, що Mθ (σn

2

σ

 

) =

 

 

 

 

 

0 при n

 

 

, i того, що

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

2

=

 

 

 

 

 

2

2 2

 

σ4

 

2n 2

 

 

 

 

 

 

θ

(σ

n

 

 

 

 

 

 

θ

 

n

σ )

n2

=

 

 

n2

0, n

→ ∞

,

 

D

 

 

 

σ ) = M

(σ

 

 

 

 

 

 

 

 

оцiнка

σ2

 

за ймовiрнiстю до σ2, тобто є слушною. В даному випадку змiщенiй

n збiгається

=

 

 

 

 

 

 

 

 

 

 

=

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

оцiнцi дисперсiї σ2

треба вiддати перевагу перед незмiщеною σ2 .

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

 

 

Статистики µn

(8.26) i

σ2

 

(8.34) як оцiнки для математичного сподiвання i дисперсiї

 

=

 

n

 

 

властивостей i без припущення про нормальнiсть вибiрки. Дiйсно, нехай

зберiгають ряд =

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

6

 

 

 

ξ = (ξ1, . . . , ξn) є6вибiркою iз6довiльного розподiлу, причому

 

 

 

 

M ξi = µ, Dξi = σ2, i = 1, n .

Тодi

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

σ2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

M µn = µ, Dµn =

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

.

 

 

 

 

 

 

 

 

µn

 

 

 

 

n

 

 

 

 

 

 

Тобто

6

 

є незмiщеною i слушною

6

 

 

 

 

 

6

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(I − Π1)ξ 2 = (ξ − m) Π1(ξ − m) 2 = ξ − m 2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i

 

 

 

 

 

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

Π1(ξ − m) 2 = i=1(ξi − µ)2 − n .

n

=1

(ξi − µ)/ ,

де m = (µ, . . . , µ). Тодi

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

=

2

− σ

2

= (n −

1)σ

2

,

 

 

 

 

 

 

 

 

M (I − Π1)ξ

 

 

 

 

 

i вiдповiдно до (8.34) маємо

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

M σn2 =

 

1

 

(n

1)σ2 = σ2 .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n − 1

 

 

 

 

Тобто, i

без припущення про

нормальнiсть розподiлу, статистика σ2

є незмiщеною оцiнкою

 

 

 

 

6

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

σ2

. Але без додаткових припущень про розподiл нiчого не можна сказати про слушнiсть

n

 

 

 

. Що стосується σn2 , то у цьому випадку вона втрачає свої6

переваги перед σn2 .

оцiнки σn2

1)

 

6

 

 

θ

=

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

6

 

Таким чином, важливими для нас є такi властивостi оцiнок:

 

 

 

 

 

Незмiщеннiсть:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

M t(ξ) = τ (θ);

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

. Зокрема, для незмiщених оцiнок це

мiнiмальнiсть дисперсiї;

 

θ

 

 

 

 

 

 

 

 

τ (θ)

 

min

2)

Мiнiмальнiсть вiдхилення: M

t(ξ)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

p

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

3) Слушнiсть: tn(ξ) −→ τ (θ), n → ∞.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

84 Роздiл 8. Математична статистика

8.7. Ефективнi оцiнки

 

 

При деяких припущеннях щодо функцiй розподiлу F (x, θ) може бути отримана зручна апрi-

 

 

орна оцiнка для якостi оцiнювання, яка вiдома як нерiвнiсть Рао-Крамера. Нехай ξ=(ξ1, .., ξn)

 

 

- випадкова вибiрка об’ємом n iз розподiлу з густиною p(x, θ), x R1

, θ Θ Rk . Оскiльки

ξ1, . . . , ξn незалежнi у сукупностi, то густина спiльного розподiлу дорiвнює (x = (x1, . . . , xn))

 

 

 

 

L(x, θ) = p(x1

, θ) . . . p(xn, θ) .

 

 

 

 

Θ, i

У статистичних задачах L(x, θ) розглядається як функцiя двох аргументiв x Rn, θ

називається функцiєю правдоподiбностi.

 

 

 

Якщо вибiрку ξ1, . . . , ξn утворюють дискретнi випадковi величини, то функцiя правдопо-

дiбностi визначається як добуток ймовiрностей

 

 

 

 

L(x, θ) = P (x1

, θ) . . . P (xn, θ) .

Теорема 22. (Рао-Крамера) Нехай ; нехай статистика є незмiщеною оцiн-

Θ = R1 t(ξ)

кою ; нехай функцiї i диференцiйованi по ; нехай множина

τ (θ) : M t(ξ) = τ (θ) L(x, θ) τ (θ) θ

усiх тих x Rn, для яких L(x, θ) > 0, не залежить вiд θ Θ i нехай

та

Тодi

 

 

 

 

 

 

 

 

 

 

 

 

d

 

L(x, θ)dx =

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

d

t(x)L(x, θ)dx =

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(θ)

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Dθ t(ξ)

 

 

 

 

 

 

 

 

2

,

 

 

 

 

 

L(ξ, θ)

 

 

 

 

 

 

Mθ

0

 

 

ln

 

 

 

1

 

 

 

 

 

 

 

 

∂θ

 

 

 

 

 

 

 

 

∂L(x, θ)

∂θ

dx

t(x) ∂L(x, θ) dx . ∂θ

причому знак рiвностi стоїть тодi i тiльки тодi, коли рiвнiсть

 

 

 

= a(θ) "t(ξ) − τ (θ)#

ln

L(ξ, θ)

 

 

∂θ

 

виконується з ймовiрнiстю одиниця для деякої функцiї a(θ), θ Θ.

Доведення не приводимо.

 

 

 

 

 

 

 

 

 

 

 

Незмiщена оцiнка τ (θ) : M t(ξ) = τ (θ) називається ефективною, якщо

 

 

 

(θ)

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Dθ t(ξ) =

 

 

 

 

 

 

 

 

 

 

.

 

0

 

 

 

 

1

2

 

 

L(ξ, θ)

 

 

 

Mθ

 

 

ln

 

 

 

 

 

 

 

∂θ

 

 

 

 

(8.35)

(8.36)

(8.37)

8.7. Ефективнi оцiнки

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

85

Вiдповiдно до (8.36) має мiсце спiввiдношення

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Mθ .

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ln

L(ξ, θ)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

/ = Mθ a(θ)

"t(ξ) − τ (θ)#

 

 

= a2(θ)Dθ t(ξ) .

 

 

 

 

 

∂θ

 

 

 

 

 

Пiдставляючи його у (8.37) отримаємо

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

5

1

 

 

(θ)

5

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

5

 

 

 

 

 

 

 

 

 

5

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Dθ t(ξ) =

5

a(θ)

 

 

 

5 .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(8.38)

 

5

 

 

 

 

 

 

 

 

 

5

 

 

 

 

 

 

 

оцiнку

математичного

сподiвання для вибiрки

 

Приклад 47. Знайти ефективну

 

ξ =

(ξ1, . . ., ξn) iз розподiлу N (θ, σ2) iз вiдомою дисперсiєю σ2.

 

 

 

 

 

У цьому випадку функцiя правдоподiбностi має вигляд

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

n

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

L(x, θ) =

 

 

2πσ

 

exp

0

2σ2

 

(xi − θ)21

,

 

 

 

 

 

 

 

 

 

(8.39)

i, як наслiдок,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

n 1

 

 

 

 

 

ln L(ξ, θ)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

=

 

0

 

i

(xi

θ)21

=

 

 

 

.

 

i xi − θ/ .

 

 

 

 

 

 

 

 

∂θ

 

 

∂θ

2σ2

σ2

n

 

Тодi, вiдповiдно до (8.36), статистика t(ξ) =

1

 

i ξi є ефективною оцiнкою свого математи-

 

 

 

 

n

чного сподiвання θ. Вiдповiдно до (8.38) дисперсiя цiєї оцiнки дорiвнює

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

5

 

 

 

 

 

 

5

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

5

 

 

σ2

5

 

σ2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Dθ t(ξ) =

5

 

 

1

 

5

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

5

 

 

 

n

5 = .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

5

 

 

 

 

 

5

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

5

 

 

 

 

 

5

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

, . . . , ξn) iз розподiлу

Приклад 48. Знайти ефективну оцiнку дисперсiї для вибiрки ξ = (ξ1

N (µ, θ2) з вiдомим математичним сподiванням µ.

 

 

 

 

 

 

 

 

У цьому випадку функцiя правдоподiбностi має вигляд

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0

 

 

 

 

i

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

1

 

n

 

1

 

 

 

 

 

 

 

 

 

 

L(x, θ) =

2πθ

exp

2θ2

 

 

(xi − µ)2

,

 

 

i, як наслiдок,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

1

 

 

 

n

1

 

 

 

 

 

 

ln

L(ξ, θ)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

=

 

+

 

 

 

(xi − µ)2 =

 

 

0

 

 

(xi − µ)2 − θ2

1 .

 

 

 

∂θ

θ

θ3

 

 

 

θ3

n

 

i

i

86

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Роздiл 8.

Математична статистика

2

 

 

 

 

 

 

n i

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

Тодi, вiдповiдно до (8.36), статистика t(ξ) =

 

 

 

 

 

 

 

 

(ξi

 

 

µ)

 

є ефективною оцiнкою дисперсiї

θ . Вiдповiдно до (8.38) дисперсiя цiєї оцiнки дорiвнює

 

 

 

 

 

 

 

 

 

 

 

 

5

 

 

 

 

 

 

 

5

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

θ3

 

n

 

 

 

 

 

 

 

 

 

 

 

5

 

 

5

 

 

2θ4

 

 

 

 

 

 

 

 

 

 

 

5

 

2θ

5

 

 

.

 

 

 

 

 

 

 

 

 

 

 

Dθ t(ξ) = 5

 

 

n

5 =

 

 

 

 

 

 

 

 

 

 

 

 

 

5

 

 

 

 

 

 

 

5

 

 

 

 

 

 

 

 

 

 

 

 

Теорема (8.35) залишається вiрною, якщо густину5

 

 

5p(x, θ) замiнити на ймовiрностi, а iнтегру-

вання на пiдсумовування.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Приклад 49. Знайти ефективну оцiнку параметра

θ для вибiрки

 

ξ=(ξ1, . . ., ξn) iз розподiлу

Пуассона.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

У цьому випадку функцiя правдоподiбностi має вигляд

 

 

 

 

 

 

 

 

 

 

L(x, θ) = ;i

 

θxi

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

e−θ ,

 

 

 

 

 

 

 

 

 

 

 

 

xi!

 

 

 

 

 

 

 

i, як наслiдок,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

1

i xi − θ/ .

 

ln L(ξ, θ)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

=

 

i (−θ + xi

ln θ − ln xi!) =

 

.

 

 

∂θ

∂θ

θ

n

 

 

 

 

 

 

 

 

1

 

 

i

 

 

 

 

 

 

 

 

 

 

 

Тодi, вiдповiдно до (8.36), статистика t(ξ) =

 

 

ξi є ефективною оцiнкою параметра θ.

n

Вiдповiдно до (8.38) дисперсiя цiєї оцiнки дорiвнює

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

5

1

5

 

 

θ

 

 

 

 

 

 

 

 

 

 

 

 

 

 

5

 

 

 

 

 

 

5

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Dθ t(ξ) = 5n/θ 5 = n .

 

 

 

 

 

 

 

 

 

 

 

 

 

5

 

 

 

 

 

5

 

 

 

 

 

 

 

 

 

 

 

 

8.8.Оцiнки максимальної правдоподiбностi

 

 

 

 

 

 

Нехай L(x, θ), θ Θ, x Rn - функцiя правдоподiбностi. Оцiнкою максимальної правдо-

 

 

 

 

 

 

подiбностi називається статистика θ = θ(ξ), яка задовольняє умовi: L(x, θ)

L(x, θ) для усiх

θ Θ, або, що те ж саме,

6

6

6

 

 

 

 

 

 

 

 

L ξ, θ

max L(ξ, θ) .

 

 

 

(

6) =

θ Θ

 

 

Нехай Θ - пiдмножина k - вимiрного евклiдового простору Rk , функцiя правдоподiбностi

 

 

 

у внутрiшнiй точцi Θ для кожного

L(x, θ) диференцiйована по θ

Θ i досягає максимуму по θ

x Rn. У цьому випадку оцiнка максимальної правдоподiбностi задовольняє рiвнянням

 

5

 

 

 

 

ln L(x, θ)

 

 

 

(8.40)

= 0 , i = 1, k .

∂θi

 

5θ=θ(x)

 

 

5

6

 

 

 

 

5

 

 

 

 

5

 

 

 

 

8.9. Достатнi статистики

87

Рiвняння (8.40) є необхiдними умовами максимуму i називаються рiвняннями максимальної правдоподiбностi.

 

 

 

 

, . . . , ξn) iз дискретного роз-

Якщо x = (x1, . . . , xn) - спостережене значення вибiрки ξ = (ξ1

 

 

 

 

 

подiлу з параметрами θ, то L(x, θ) = P {ξ1

= x1, . . . , ξn = xn|θ} ймовiрнiсть того, що x = ξ. За

 

 

 

 

 

оцiнку максимальної правдоподiбностi θ(x) приймається те значення параметра θ, при якому

 

 

 

 

 

ймовiрнiсть отримати спостережене

значення x вибiрки θ приймає максимальне значення. Це

6

 

 

пояснює змiст принципу максимальної правдоподiбностi: як значення невiдомого параметра пропонується приймати те, при якому ймовiрнiсть спостереженої реалiзацiї вибiрки приймає

максимальне значення.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Приклад 50. Знайти оцiнку максимальної правдоподiбностi для

2

) на пiдставi

θ = (µ, σ

 

, . . . , ξn)

 

 

 

 

2

).

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

вибiрки ξ = (ξ1

iз N (µ, σ

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Оскiльки

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

n

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

L(x, θ) =

 

 

 

 

 

exp

0

 

 

 

(xi − µ)2

1

,

 

 

 

 

 

2σ2

 

 

 

 

 

2πσ

 

 

 

то (8.40) приймає вигляд

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

L(x, θ)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ln

 

 

 

 

=

 

 

 

(xi − µ) = 0 ,

 

 

 

 

 

 

 

 

 

 

 

∂µ

 

 

 

 

σ2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

 

 

 

 

 

1

 

i

 

 

 

 

 

 

 

 

 

 

 

 

L(x, θ)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ln

 

=

 

 

+

 

 

(xi − µ)2 = 0 .

 

 

 

 

 

 

 

∂σ2

 

2σ2

2σ4

 

 

 

Звiдси випливає оцiнка максимальної правдоподiбностi

 

 

 

 

 

 

 

6

 

 

= =

 

 

=

1

i

 

 

 

 

 

=

1

 

(xi

=

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

θ

= (µ, σ2) , µ = n

xi , σ2 = n i

µ)2 .

 

 

8.9.Достатнi статистики

Звернемо увагу на те, що при побудовi точкових оцiнок найчастiше не використовується вся iнформацiя, що мiститься у виборцi. Наприклад, для оцiнки математичного сподiвання за вибiркою достатньо знати лише значення суми ξ1 + . . . + ξn, а не кожної випадкової величини

ξi окремо. Аналогiчно, при вiдомому µ для оцiнки дисперсiї достатньо знати суму

i

(ξi

µ)2

тощо.

 

 

 

 

 

Виявляється, що в багатьох випадках для оцiнювання параметра

θ

функцiї розподiлу

 

можна вказати статистику

 

 

 

 

 

 

F (x, θ) за вибiркою ξ1, . . . , ξn

 

 

 

 

 

 

T (ξ) = T1(ξ), . . . , Tm(ξ)

, m < n ,

 

 

 

(8.41)

 

 

 

 

 

 

 

 

яка у деякому розумiннi мiстить усю iнформацiю про параметр θ.

 

 

 

 

 

 

 

 

 

Означення. Статистика T (ξ) (8.41) називається достатньою для родини густин (ймовiрнос-

 

 

, . . . , ξn) за

тей) L(x, θ), θ

Θ, x Rn, якщо умовний розподiл випадкового вектора ξ = (ξ1

88

 

 

Роздiл 8. Математична статистика

 

 

 

 

умови T (ξ) = t

не залежить вiд θ. На практицi зручною є така необхiдна i достатня умова

 

 

 

 

достатностi статистики T (ξ).

 

Теорема 23. (Про факторизацiю)

 

T (ξ) є достатньою статистикою тодi i тiльки то-

дi, коли функцiя правдоподiбностi може бути представлена у виглядi:

· L(x, θ) = g T (x), θ h(x), x Rn, θ Θ .

Доведення не приводимо.

Приклад 51. Знайти достатню статистику для нормального розподiлу.

У випадку розподiлу N (θ, σ2) функцiя правдоподiбностi має вигляд (8.39)

 

 

 

 

 

 

 

 

 

 

0

 

i

 

 

1

 

 

 

 

 

 

 

 

1

 

 

n

 

1

 

 

 

 

 

 

 

L(x, θ) =

 

2πσ

exp

2σ2

 

 

(xi − θ)2

=

 

xi2

1 =

= exp

0

σ2

 

i

xi2σ2

1· √2πσ exp

02σ2

i

 

 

θ

 

 

 

2

 

 

 

1

 

n

 

 

1

 

 

 

·

=g T (x), θ h(x) .

Таким чином, у нашому випадку, є достатньою статистикою.

T (x) = T (x) = xi

i

8.10. Лiнiйна модель вимiрiв

 

, . . . , ξn)

Нехай в експериментi ми отримали випадковий вектор вимiрiв ξ = (ξ1

ξi = ai1α1 + . . . + aik αk + νi, k ≤ n ,

(8.42)

де ν = (ν1, . . . , νn) - випадковий вектор похибок. Коефiцiєнти aij нам вiдомi i необхiдно визначити вектор параметрiв α = (α1, . . . , αk ). Природно вважати, що M νi = 0 (тобто систематичнi похибки вiдсутнi).

Нехай вимiри (8.42) незалежнi у сукупностi i мають однакову точнiсть, яка визначається дисперсiєю M νi2 = σ2. Але тут дисперсiя σ2 невiдома. Окрiм цього, стовпчики прямокутної матрицi A = (aij ) будемо вважати лiнiйно незалежними. Задача полягає в тому, щоб за ре-

 

оцiнити α

та σ

2

. Це є так звана обернена задача, коли за даними вимiрiв

зультатами вимiрiв ξ

 

необхiдно визначити такi параметри об’єкта або явища, що безпосередньо не спостерiгаються. В математичнiй статистицi ця задача називається задачею аналiзу лiнiйної регресiї.

Перепишемо (8.42) у виглядi

 

 

Rk .

ξ = + ν, α

Лiнiйну незмiщену оцiнку параметра α можна шукати у виглядi

6 =

 

α Bξ ,

8.10. Лiнiйна модель вимiрiв

89

де B - невiдома прямокутна матриця (k × n). Вимога незмiщеностi приводить до умови

 

 

 

 

 

 

 

 

 

 

 

 

M α = BM ξ = B(AM α + M ν) = BAα .

 

Оскiльки

α

заздалегiдь

невiдома, звiдси випливає, що M α = α, i далi

 

 

6

 

6

 

(BA)ij = δij ,

(одинична матриця) .

(8.43)

Обчислимо дисперсiю компонент α6j .

n

n

 

 

i

(8.44)

j = (bji)2i = σ2

(bji)2 = σ2(BBT )jj .

6

 

 

i=1

=1

 

Таким чином, задача визначення незмiщеної оцiнки мiнiмальної дисперсiї приводиться до задачi на мiнiмум дисперсiї (8.44) при обмеженнях (8.43). Для розв’язку цiєї задачi використаємо метод невизначених множникiв Лагранжа. Нехай вiдповiдна функцiя Лагранжа дорiвнює

k

L = (BBT )jj 2 Λjl [(BA)jl − δjl] ,

l=1

де Λjl - множники Лагранжа. Маємо

 

k

∂L

l

∂bji

= 2bji 2 Λjlail = 0, i = 1, n ,

 

=1

або у матричному виглядi B = ΛAT . Використаємо (8.43)

k

AT A)ij = Λil(AT A)lj = δij , l=1

або ΛAT A = I, Λ = (AT A)1. I як результат B = (AT A)1 мiнiмальної дисперсiї має вигляд

α

AT

A)

1

T

6 = (

 

A

ξ .

AT , та лiнiйна незмiщена оцiнка

(8.45)

Цiкаво, що ця оцiнка спiвпадає з результатом метода найменших квадратiв, коли шука-

ється мiнiмум по

α величини

 

− Aα

2

2

. Покажемо це. Нехай α

- оцiнка вектора

ξ

 

→ ν

 

 

 

 

 

можна знайти за допомогою метода найменших квадратiв, тобто:

параметрiв, яку

=

 

2

 

 

 

 

 

=

 

=

 

 

 

 

 

 

 

 

 

 

 

(8.46)

α

ξ

 

.

 

 

 

 

 

min

 

 

 

 

 

 

 

 

 

 

Одну з компонент вектора, що стоїть пiд знаком норми у (8.46), можна записати у виглядi ξi kω=1 aα=ω . Якщо визначити вектор

 

a1ω

 

aω =

.

,

(8.47)

..

a

90

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Роздiл 8.

Математична статистика

то (8.46) можна переписати

 

 

 

 

 

 

 

 

 

 

 

 

 

 

=

 

 

 

 

k

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

=

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

(8.48)

 

 

α

ξ

ω

ω

 

,

 

 

 

 

 

 

 

 

 

 

 

 

 

min

 

 

 

α

a

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ω=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

де множина aω складає лiнiйну оболонку La Rn.

 

 

 

 

 

 

Вiдповiдно до (8.47) величину (8.48) можна розглядати як квадрат вiдстанi ρ(ξ, La), тодi

згiдно (8.9) ця вiдстань дорiвнює

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ρ(ξ, La) = ξ

Πaξ ,

 

 

 

 

де Πaоператор проектування на La, а отже

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

k

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Πaξ = αω aω = Aα ,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ω=1

 

 

=

 

 

 

 

де αω мiнiмiзує (8.48) , тобто

 

 

 

=

 

 

 

 

 

 

=

 

 

 

 

 

k

 

 

2

 

 

 

k

 

 

 

 

 

 

 

 

 

 

 

 

∂αω ξ −

 

 

 

 

 

 

 

 

γ

αγ aγ ), aω ) = 0 ,

 

 

 

 

 

 

або

 

αγ aγ

= 2((ξ −

 

 

 

 

 

 

=

 

 

 

 

=

 

 

 

 

 

 

 

=1

=

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

γ=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

k

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

γ

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(8.49)

 

 

(aγ , aω )αγ = (ξ, aω ) ,

 

 

 

 

 

 

 

 

 

 

 

 

 

=1

 

 

 

 

=

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

або

 

 

 

 

 

 

k

n

 

 

 

 

 

 

k

n

 

 

k

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

=

 

 

=

 

 

 

 

=

=

 

 

 

 

 

 

 

 

 

 

 

 

 

i

 

 

 

 

 

 

 

 

 

 

 

 

 

 

aaαγ =

 

aωiT aαγ =

(AT A)ωγ αγ =[(AT A)α]ω .

 

 

 

 

 

 

 

γ=1 i=1

 

 

 

 

 

 

γ=1

=1

 

 

γ=1

 

 

 

 

 

 

Права частина (8.49) дорiвнює

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i

 

 

 

 

 

 

 

 

 

 

 

 

 

(ξ, aω ) =

ξia

=

 

aωi

ξi = (A

ξ)ω .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

=1

 

 

 

 

 

 

 

 

 

 

 

 

 

Тодi

 

 

 

 

 

 

 

 

 

 

 

 

T

 

 

T

 

 

T

 

1

 

T

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

α = (A

A)

A

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(A

 

A)α = A ξ

 

 

ξ ,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

6

 

 

=

 

 

 

 

 

 

 

що спiвпадає з оцiнкою (8.45) для =.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

α

 

 

 

 

 

 

 

 

 

 

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]