Математическая статистика

132 ГЛАВА XI. ПОСТРОЕНИЕ ЭФФЕКТИВНЫХ ОЦЕНОК

Вычисление УМО. Поскольку мы не особенно различаем случайные величины, совпадающие п. н., полезно явным образом предъявить хотя бы одну функцию h(y) такую, что E(ξ |η) = h(η) п. н.

Можно в качестве такой функции взять h(y) = E(ξ |η = y). Что такое условное математическое ожидание относительно события {η = y}? Ответим на этот вопрос в двух практически значимых случаях: когда случайные величины ξ и η имеют либо дискретные распределения, либо их совместное распределение абсолютно непрерывно.

В первом случае пусть ξ принимает значения a1, a2, . . . , а η — значения b1, b2, . . . Тогда h(η) может принимать только значения h(b1), h(b2), . . . , где

X

h(y) = aiP(ξ = ai |η = y).

i

Иначе говоря, при каждом фиксированном y значение h(y) определяется как математическое ожидание дискретного распределения со значениями ai и вероятностями P(ξ = ai |η = y). Такое распределение называется условным распределением случайной величины ξ при условии η = y.

Во втором случае пусть fξ, η(x, y) — плотность совместного распреде-

R

При фиксированном y число h(y) есть математическое ожидание абсолютно непрерывного распределения с плотностью распределения

Такое распределение называется условным распределением величины ξ при условии η = y, а функция f(x |y) — условной плотностью.

Убедимся формально (скажем, в абсолютно непрерывном случае), что определённая выше h(η), где h(y) задаётся формулой (45), удовлетворяет тождеству ортопроекции (44) и, следовательно, является УМО E(ξ |η). Для любой g(η) L (такой, что соответствующее математическое ожида-

ние существует) левая часть тождества (44) равна

ZZ

E(ξ g(η)) = xg(y)fξ, η(x, y) dx dy.

R2

134 ГЛАВА XI. ПОСТРОЕНИЕ ЭФФЕКТИВНЫХ ОЦЕНОК

§ 2. Байесовский подход к оцениванию параметров

Пусть X1, . . . , Xn — выборка из распределения Fθ, причём параметр θ сам является случайной величиной с некоторым априорным распределением на множестве Θ с плотностью распределения q(t) с конечным математическим ожиданием E|θ| < ∞.

О п р е д е л е н и е 36. Байесовской оценкой для параметра θ называется θ = E(θ |X1, . . . , Xn).

Если второй момент случайной величины θ конечен, то по свойству 15 байесовская оценка θ обеспечивает самое маленькое среднеквадратичное

отклонение

min E(θ − g(X1, . . . , Xn))2 = E(θ − θ )2.

Заметим, что это качество никак не связано с эффективностью оценок: там квадратичное отклонение вычисляется от любой точки θ Θ, здесь же при вычислении математического ожидания ведётся дополнительное усреднение с плотностью q(t) по всем возможным θ = t Θ.

П р и м е р 47. Рассмотрим классический пример вычисления байесовской оценки p по выборке из распределения Бернулли с параметром p. Пусть про параметр p настолько ничего не известно, что становится возможным предположить, будто любые его значения априори одинаково ве-

По определению p = E(p |X1, . . . , Xn) = h(X1, . . . , Xn) п. н. По формуле (45) h(~y ) равно математическому ожиданию условного распределения с плотностью

f(t |~y ) = f(~y ; t) · q(t) . f ~ (~y )

X

В числителе стоит плотность совместного распределения выборки и параметра. Она равна произведению плотности q(t) распределения параметра на условную плотность распределения выборки, если параметр равен t, т. е. на функцию правдоподобия (см. пример 12, с. 31)

f(~y; t) = tny(1 − t)n−ny.

Для удобства заметим, что знаменатель в формуле условной плотности, равно как и в формуле (45), нам совершенно не интересен: он не зависит от переменной t и поэтому является для условной плотности просто нормирующей постоянной C = const. Итак, условная плотность равна

Данная плотность является плотностью бета-распределения Bλ1, λ2 с параметрами λ1 = ny+1, λ2 = n−ny+1 . С помощью бета-функции Эйлера вычисляется его математическое ожидание (см. [1, п. 8, § 2, гл. 2])

Оценка имеет довольно экзотический вид. Никакими другими методами такой оценки мы не получали.

§ 3. Полные и достаточные статистики

Пусть есть выборка X1, . . . , Xn = Fθ, θ Θ. Вспомним, какие задачи мы решали по выборке: задачи точечной оценки параметра θ, построения доверительных интервалов для него, проверки гипотез относительно него. Ситуация парадоксальна: неизвестное число одно (если параметр одномерный), но мы вынуждены хранить в памяти громадные объёмы данных — всю выборку. Нельзя ли сократить хранимую информацию так, чтобы при этом не потерялись никакие сведения о параметре, содержащиеся в выборке?

О п р е д е л е н и е 37. Статистика S = S(X1, . . . , Xn) называется достаточной для параметра θ, если при любом s и B B(Rn) условное распределение P(X1, . . . , Xn B |S = s) не зависит от параметра θ.

Определение достаточной статистики говорит следующее: если значение статистики S известно и фиксировано, то выборка после этого бесполезна; даже знание её распределения (разве не его мы искали до сих пор?) не даёт более никакой информации о параметре! Достаточно по выборке вычислить S, и выборку можно выбросить. Следует ожидать, что наилучшие оценки, короткие доверительные интервалы, оптимальные критерии будут зависеть только от достаточных статистик.

Существует простой критерий достаточности статистик (доказательство см. в [1, § 12, гл. 2]).

Т е о р е м а 34 (факторизационная теорема Неймана — Фишера).

Статистика S является достаточной тогда и только тогда, когда функция правдоподобия представима в виде произведения двух функций

θ ~ · θ

f(X1, . . . , Xn; ) = h(X) Ψ(S, ) п. н.,

каждая из которых зависит только от указанных аргументов.

П р и м е р 48. Найдём достаточные статистики для параметров некоторых семейств распределений.

136 ГЛАВА XI. ПОСТРОЕНИЕ ЭФФЕКТИВНЫХ ОЦЕНОК

Если выборка взята из распределений Bp, Πλ или Eα, то достаточной

статистикой для соответствующего параметра будет S = nX или S = X :

влечёт g(S) = 0 п. н. (здесь g(x) — просто борелевская функция). Свойство полноты статистики S необходимо только для того, чтобы

в любом классе оценок Kb оценка, являющаяся функцией от S, была

единственна (если таковая вообще существует). Действительно, если та-

ких оценок две: θ1(S) Kb и θ2(S) Kb, то E(θ1(S) − θ2(S)) = 0 для всех θ Θ. Тогда g(S) = θ1(S) − θ2(S) = 0 п. н. из-за полноты S.

А если мы вспомним, что эффективная оценка в любом классе тоже не более чем одна, то дальнейшие шаги очевидны: будем в качестве эффективной оценки искать функцию от полной и достаточной статистики.

Т е о р е м а 35. Пусть Xi = Fθ, θ Θ, S — полная и достаточная статистика. Если оценка θS Kb является функцией от S, то она эффективна в классе Kb.

Д о к а з а т е л ь с т в о. Возьмём произвольную оценку жем вспомогательное утверждение.

Л е м м а 12. E(θ − θS)(θS − θ) = 0 для любого θ Θ.

Множество A является σ -алгеброй (проверьте) и содержит все интервалы на прямой. Следовательно, B(R) A.

Рассмотрим теперь два борелевских (почему?) множества

B1 = {x |h(x) > 0}, B2 = {x |h(x) < 0}.

Интеграл от h по каждому из них должен быть равен нулю. Это возможно, только если мера Лебега каждого из этих множеств нулевая. Иначе первый интеграл строго положителен, второй строго отрицателен.

Окончательно имеем λ{x |h(x) 6= 0} = 0, т. е. g(S) = 0 п. н.

Итак, достаточная статистика S = X(n) полна. Воспользуемся теоре-

мой 35 и получим: оценка θ = X(n) эффективна в классе K−θ/(n+1), несмещённая оценка θ = (n + 1)X(n)/n эффективна в K0 и т. д.

ляется функцией от полной и достаточной статистики и, следовательно, эффективна в классе K0.

§4. Вопросы и упражнения

1.Вычислить по определению E(X1 |nX) по выборке из распределения Бернулли.

2.Исследовать свойства байесовской оценки p из примера 47. Найти

байесовский риск E(p − p)2.

3.Доказать, что статистика S = (X(1), X(n)) является достаточной, но не полной статистикой для параметра θ R распределения Uθ, θ+1.

4.Предполагая полноту достаточной статистики S = (nX2, nX) для двумерного параметра (a, σ2) нормального распределения, найти эффективную оценку для параметра (a, σ2).