27) Общая постановка задачи оценивания.

Пусть существует X=(x₁…x_n)

p_(x)=

g()- параметрическая функция в качестве оценки можно выбрать функцию от наблюдения.

(x) – оценка – т.е. произвольная функция от x.

Введем функцию потерь L(g(), (x), ) – это потери, которые мы несем от того, что в качестве оценки  выбрали g(x), а на самом деле g().

Предположим, что это квадратичная оценка.

L(g(), (x))=(g() - (x))²

мы распоряжаемся только выбором оценки. Нужно найти такую, чтобы потери были минимальны. (но это случайная величина).

Рассмотрим средние потери _ - мат.ожидание.

E_(g() - (x))²=R() – функция риска.

Теперь надо минимизировать R() за счет выбора (x).

Но для одних  будет лучшей одна оценка, для других – другая.

Рассмотрим несколько подходов.

1) Минимаксный подход.

Выберем _(x) : min_ max_ R()= (достигается на _)_=max_ R(,_)

Каждый раз выбирается наихудший случай и добиваются минимального риска.

Но этот подход не самый лучший.

2) Байесовский подход

() – априорная плотность параметров.

R=R(() d оценка которая минимизирует R.

3) Поиск эффективных оценок.

Мы сужаем класс допустимых оценок. Часто можно сузить, так чтобы R(,) была минимальна для всех  одновременно.

Это эффективная оценка.

Ограничения на оценки:

1. Несмещенность, т.е. предположим, что E_(x)=g()  

Это система уравнений (для каждого  свое уравнение)

Если оценка несмещенная, то R(,)=E_(g() - (x))²=D_(x))

Среди всех несмещенных оценок надо выбрать такую, у которой минимальная дисперсия.

2. Состоятельность (x)^P_g()

3. Эффективность – если дисперсия оценки минимальна и она несмещенная

Оценка асимптотически несмещенная, если

(x)g() при n

Оценка асимптотически эффективна, если она асимптотически несмещенная и D_(x))~minD_(x))

Утверждение: Если оценка асимптотически несмещенная и ее D0, то она состоятельна.

1. N(m,²), ² – известно, =m, g(m)=m.

, Ex=Ex₁=m – несмещенная

Dx=²/n0d – состоятельная

2. N(m,²), m – известно, =², g(m)=².

в качестве оценки выборочная дисперсия.

ES²=

DS²=

3. N(m,²), =(m,²), g()=².

S_i²=

можно считать, что E_x_i=0, т.к. это дисперсия, то =

ES²=

Ex²=,тогда

ES_i²=²-^/_n=-это асимптотически несмещенная оценка.

если S_i²=-несмещенная оценка

она состоятельна (DS_i²0). Мы предполагали, что выборка из нормального распределения.

Равномерное распределение на (0,), P(0,)

(x)=max_i<n x_i, проверим несмещенность.

P(max_i<nX_i<x)=||_(0,)(max X_i)xⁿ/ⁿ

P(X_i<x)=

q(x)= =

E(x)= ,т.е. оценка асимптотически несмещенная, а оценки ⁿ⁺¹/_nmax_i<nx_i - несмещены

Пример отсутствия несмещенной оценки.

n=1 R(0,) g()=1/

E_(x)=1/

=> для всех , но такого не существует, т.е. это смещенная оценка

28) Достаточные статистики. Критерий факторизации. Достаточные статистики

X=(x₁,…,x_n) P(x,0) – плотность распределения всего вектора

T=T(x₁,…,x_n) статистикой называется любая функция от X

Хотим определить такую статистику Т, которая содержит в себе такую же информацию о , что и вся выборка X

Это достаточная статистика.

Определение: Статистика называется достаточной, если условное распределение при фиксированном t не зависит от .

P(x,/T=t) не зависит от 

Пример: P(X_i=1)=p, P(X_i=0)=q, тогда X=(0,0,1,…,0,1,1).

Покажем, что m=₁ⁿx_i – достаточная статистика.

Надо взять условное распределение.

P(X₁=x₁, X₂=x₂,…,X_n=x_n/X_i=m)= ==т.е. они равны и о m ничего не можем узнать, мы можем прекратить наблюдения и взять только m.