Лекция №17 Задача оценивания параметров распределения Формальная постановка задачи

Считается, что результаты эксперимента представляют собой выборки X = (x₁,x₂,…,x_n) из неизвестной случайной величины.

x₁,x₂,…,x_n – варианты выборки.

Считается, что в этой задаче случайная величина известна с точностью до параметров. Уточним это допущение. Предположим, что мы имеем дело с непрерывной случайной величиной. Известна функция, описывающая плотность распределения f(x,a). Это означает, что формула, задающая функцию кроме переменной x содержит постоянную a, которую называют параметром этой функции.

Например для экспоненциального распределения:

f(x,λ) = λе^{- λх}

где х – переменная;

λ – постоянная, но она не известна исследователю.

Нужно уточнить значение λ, обработав выборку Х. Рассмотрим в общем виде результат такой обработки. Обработав выборку, найдя правило, в результате получим значение а над выборкой Х:

а^* = φ(х) (1)

Правило φ известно, но аргументом этого правила является выборка Х. Следовательно любое намеренное действие над случайным событием приводит к тому что мы получим случайную величину а ≈ а^*. Точное значение неизвестного параметра мы не можем найти , а можем найти некоторое приближение к нему, рассчитанное по правилу (1). Это приближение а^* называют оценкой истинного параметра а. Смысл слова «оценка», что мы находим приближенное значение параметра а. Какое же приближение будет хорошим? Это хорошее приближение называют хорошими оценками.

Свойства хороших оценок

Поскольку модель оценки есть случайная величина, то мы можем использовать разные свойства случайных величин:

1. M[a^*] = a - свойство несмещенности оценки: если мы найдем среднее значение, или мат. ожидание то оно должно совпадать с истинным значением.

2. M[(a^* - M[a^*])²] → min - эффективность оценки: мат. ожидание центр облака. Эффективность – это разброс оценок относительно M[х]. Если мы найдем такое правило φ₁, при котором разброс будет минимальным, то такая оценка будет эффективной. Если M[a^*] = a, то мы получаем дисперсию. Но не для всех правил φ оценка может быть эффективной, есть такие правила. для которых оценка будет ассиметрически эффективной, n→∞, когда момент стремится к min при очень больших размерах выборки.

3. P{| a^* - a |≤ ξ} ≥ 1- δ

n→∞ ξ, δ→ 0

Можно найти такое n, что модуль отклонение параметра не больше ξ, стремится к единице.

Если речь в (1) о правиле φ, фраза «оценка параметра» отражает особенность правила φ, по которому рассчитывается оценка в левой части уравнения (1). Другой смысл этой фразы: число, количественное значение левой части (1).

Методы определения оценок

Метод моментов при следующих допущениях:

1. считается, что в результате эксперимента сформирована выборка Х.

2. считается, что исследователю известна плотность распределения f(x,a) с точностью до параметров.

Ищется правило φ, предположим а^* = φ(Х)

Понятие момента: _b

M^(k) [X] = ∫ x^k f(x) dx

^a

момент тоже зависит от параметра.

_b

M^(k) [X] = ∫ x^k f(x,а) dx

^a

M^(k) [X] = φ(а) (2) - определяет k-ый момент и позволяет определить зависимость от неизвестного параметра а.

Если получить эмпирические выражения для k-го момента и приравнять к теоретическому, то получим истинное а. Можем найти его приближение, заменив его в формуле(2) эмпирическим моментом.

_n

M_э^(k) ≈ M_т^(k) ≈1/n ∑ x_i^k

ⁱ⁼¹

случайная величина

M_э^(k) = φ(а) → а^* Теперь левая часть известна, φ- известна, решаем уравнение и находим а^* (оценку). Полагаем, что k=1 и тогда в качестве эмпирического момента можно использовать 1-ый эмпирический момент:

_n

M_э = 1/n ∑ x_i =

ⁱ⁼¹

Если плотность зависит от нескольких параметров, например ν-распределение, то одного момента мало: k=2, нужно найти выборочную дисперсию. Необходимо решить систему:

при k=1

при k=2

Преимущество метода моментов: простота, ясность метода.

Недостатки метода моментов:

1. редко дает хорошие оценки;

2. нет обоснования почему в качестве условия нахождения оценок выбраны моментные характеристики.

Примечание: если рассматривается дискретная случайная величина ничего принципиально не меняется, меняется только формула для расчета моментов.

Метод максимального правдоподобия

Идея метода: предположим, выборка Х рассматривается как гиперплоскость, каждая координата которой совпадет с номером варианта. При этом предполагается, что все варианты независимые случайно распределенные случайные величины имеют функцию распределения F(x)

Конкретная выборка есть точка вn-мерном пространстве. Предположим, что мы имеем дело с дискретной случайной величиной. Распределение случайной величины будет зависеть от параметра выборки.

х₂

х₁

х₃

Так как случайная величина, то мы используем следующую формулу вероятности:

P(X,a) = P(X₁,a)* P(X₂,a)*…* P(X_n,a) (**) – функция max правдоподобия

n₁+n₂+…+n_k = n

P(a)* dP(a)/da = 0 → а^*

P(a) = lnP(a) = α

dα/da = 0

Для непрерывной случайной величины:

_n

L₁(X,a) = П f(x_i,a) - функция max правдоподобия

ⁱ⁼¹

L = ln L₁,

Если плотность распределения зависит от нескольких параметров, то составляем систему уравнений вида:

a = (a₁,a₂,…,a_n) Если система имеет решения, то оценка хорошая.

= 0 → a^*

Метод min χ²

χ² = n - число участков, на которые разбивают выборку Х

n_i – число вариантов, попавших на i-й участок

p_i – вероятность попадания случайной величины на i-й участок, рассчитанная по функции распределения

Нужно найти такую оценку а, чтобы среднее расстояние χ² →min.