Добавил:

degenetard Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Московский технический университет связи и информатики

Предмет:

Анализ Случайных Процессов

Файл:

Экзамен 2021 / Панков Пособие по ТВиМС часть 2

.pdf

Скачиваний:

Добавлен:

28.01.2022

Размер:

730.29 Кб

Скачать

☆

<<< < Предыдущая 12 / 62 3 4 5 6 > Следующая >>>

вероятность того, что 1 x1 ,…, n xn , т. е. функция правдоподобия задается следующим равенством:

L x1,...,xn, n P i xi .

i 1

Если F x, - функция распределения абсолютно непрерывной случайной величины с плотностью распределения p x, , то функция правдоподобия

L x1,...,xn, задается равенством

				n
			L x1,...,xn, p xi, .
				i 1	x1,...,xn
	Предположим, что при каждом фиксированном векторе				x1,...,xn		функция
правдоподобия		достигает своего максимума в некоторой			точке
правдоподобия		достигает своего максимума в некоторой			точке	, где
			x1,...,xn называется оценкой, полученной			по	методу
	x1,...,xn .	Тогда	x1,...,xn называется оценкой, полученной			по	методу

максимального правдоподобия.

Таким образом, для нахождения оценки максимального правдоподобия необходимо найти точку, в которой достигается максимальное значение

функции правдоподобия L x1,...,xn, при изменении . Обычно более удобно находить максимум для функции lnL x1,...,xn, , так как точки максимума функций L x1,...,xn, и lnL x1,...,xn, будут совпадать.

Пример. 1. Пусть у нас реализована схема Бернулли с неизвестной вероятностью успеха 0 1, и имеется выборка x1,...,xn , где xi 0,1 .

L x1,...,xn, k 1 n k , где k – число единиц в векторе x1,...,xn .

Найдем максимум функции lnL x1,...,xn, k ln n k ln 1 . Используя методы математического анализа, имеем

дlnL	k	n k	0 ,
д
		1

k k n k 0,

nk - единственное решение данного уравнения.

Так как 0 k n , то

д2 ln

n k

для всех 0,1 .

Отсюда следует,

что функция

lnL

в интервале

0,1 имеет единственный

максимум при

n .

	k
Поэтому оценка n		является				оценкой, полученной методом
						n
максимального правдоподобия.		При этом k xi , т. е.
						i 1
			1		1	n

				k		xi x .
			n		n
						i 1

Мы видим, что в этом случае оценка, полученная методом максимального правдоподобия, будет несмещенной и состоятельной.

2. Пусть выборка производится из нормально распределенной случайной величины с двумя неизвестными параметрами, т. е. 1, 2 , где 0 2

, 1 .

																	n				xi 1 2
																	n	1
				L x1,...,xn,														1			e	2 2 .

																		2 2
																i 1		2 2
																i 1
Здесь у нас два параметра:								1, 2 .
Здесь у нас два параметра:								1, 2 .
			lnL n																	1	n
									ln2 ln 2											1	xi 1		2 .
									ln2 ln 2										2 2		xi 1		2 .
							2												2 2		i 1
Найдем частные			произведения											первого						порядка			для функции lnL и
приравняем их к нулю.
	lnL	1	n
	lnL	1

				x						0
				x	i					0
	1	2			i		1
	1	2	i 1															.
	lnL		n			1			n						2			.
	lnL		n			1									2

											x						0
											x	i					0
	2		2 2			2						i	1
	2		2 2			2 2		i 1

Получаем

n
	i			1
	i			1	0
		x	n		0


i 1
			n			2
				x
n				x
	2			i	1
			i 1

	1
	1
			x
				i
1	n
	n
		n
	1
	1

					i
2	n		x
	n	i 1

x 2 S2 .

Решение данной системы единственное, и функция L принимает в точке

максимальное значение (проверьте это самостоятельно).

1, 2

x,S

является

оценкой

максимального

Следовательно, 1, 2

правдоподобия для

1, 2 .

силу свойств

самих

оценок –

это

состоятельная оценка.

Введем еще одну величину, характеризующую оценку.

Inf

Определение. Среднеквадратичной ошибкой оценки параметра

называется величина 2 .

Если оценка несмещенная, то

2 2 D .

Это мера отклонения оценки от оцениваемого параметра.

Иногда среднеквадратичная ошибка может быть больше у несмещенной оценки, чем у смещенной.

Пример. Самостоятельно сравните среднеквадратичные ошибки оценок

	1	n			1	n
S2*		xi x 2	и S2			xi x 2 .
				n
	n 1 i 1					i 1

Хорошо было бы, если бы эта ошибка была как можно меньше. Но очень часто нельзя ее уменьшить ниже определенного порога.

Сформулируем теорему об этой границе. Но сначала введем понятие регулярной статистической модели.

	Пусть имеет функцию распределения F x, с плотностью p x, .
	Условия регулярности для семейства F x, и p x, :
1)	множество	x : p x, 0		не зависит от .
2)	Равенство			можно дифференцировать по параметру под

			p x, dx 1

знаком интеграла.

3)Смещение в равенстве b дифференцируемо по параметру .

4)Интеграл

...

,...,x

x ,...,x

, dx

i 1

b ,

где dx dx1 ... dxn , можно

дифференцировать

по

параметру под знаком

интеграла.

5) Интеграл Inf ln p x, p x, dx не равен нулю и сходится, т.е.

0 Inf .

Интеграл называется информацией по Фишеру о неизвестном

параметре , содержащейся в одном наблюдении xi .

Теорема (неравенство Рао-Крамера). Если семейство плотностей p x, ,

	x1,...,xn	удовлетворяют условиям регулярности 1)-5),
где , и оценка	x1,...,xn	удовлетворяют условиям регулярности 1)-5),
то имеет место неравенство			1
			1
					b	2
		2			b


				1			.

			n Inf

Доказательство.

1). Очевидно, что совместная плотность выборки равна p xi, . Рассмотрим

i 1

интеграл от нее

... p xi, dx

i 1

и продифференцируем его по параметру :

p xi,

...

i 1

p xk,

x1, ...p xk 1,

p xk 1, ...p xn, dx

... p

k 1

p xk,

... p x1, ...p xk 1,

p xk 1, ...p xn, dx .

Так как

k 1

p x1,

n p x

...

, dx

k 2

p x1,

k 2

p x

, dx

p x1,

и по второму условию регулярности

dx1

0, то

p xi,

dx 0.

...

i 1

2). Продифференцируем равенство

p xi,

i 1

...

x1,...,xn

dx .

xi,

Вычтем из этого равенства тождество

dx 0 из пункта 1)

...

i 1

доказательства, помноженное на , и получим равенство:

	n
	i 1
	p xi,
	p xi,		b	.
...		dx 1
...		dx 1

Преобразуем подынтегральное выражение:

p xi,

...

p xi,

i 1

p x

, dx 1

p xi,

i 1

и обозначим

		n
f x1,...,xn		p xi, ,
		i 1
	n
g x1,...,xn	p xi,
	i 1



		1		n
		1		p xi,

			n
			p xi,	i 1

i 1

ln p xi,

	i 1
	i 1

p xi, .

i 1

Используем для данных функций неравенство Коши-Буняковского для интегралов

fgdx 2 f 2 dx g2 dx .

Отсюда получаем, что

2 n

...

p xi

, dx

i 1

p xi,

i 1

...

p x

i 1

где n - обозначение для второго интеграла в неравенстве.

Следовательно,

3). Осталось доказать, что n n Inf .

n ln p xi, n

p xi

, dx

...

i 1

lnp xi

i 1

Так как по второму условию регулярности

ln p xi,

p xi

, dxi E

p xi,

p xi, dxi

p xi,

dxi

p xi

Тогда

ln p xi,

0 .

i 1

Следовательно,

n n

i 1

ln p xi

i 1

ln p

i 1

ln p xi, .

Так как элементы выборки xi независимы, то независимы и функции от них

p xi, .

Учитывая одинаковую распределенность случайных величин xi , получаем,

что верно равенство

	n		ln p xi,				lnp x1,
	n D				n D			.
	n D				n D			.
	i 1
Из 5 и 2 условий регулярности следует, что
	D	ln p x1,			Inf .
	D				Inf .			Теорема доказана.



Следствие. Если	- несмещенная оценка, то в условиях регулярной модели
					1	.
			D
			D	n Inf

Вслучае если мы оцениваем не параметр , а параметрическую функцию

, то с некоторыми изменениями на условия регулярности неравенство Рао-

Крамера примет вид

2 ' b 2 .

n Inf

Определение. Эффективностью регулярной оценки параметрической функции называется величина

' b 2

eff

n Inf

Очевидно, что у любой оценки

эффективность ограничена: 0 eff 1.

Определение.

Регулярная

оценка

параметрической

функции

неравенство Рао-Крамера для нее

называется эффективной, если eff 1, т.е.

обращается в равенство.

Определение.

Регулярная

оценка

параметрической

функции

называется асимптотически эффективной, если eff 1

Примером эффективной оценки в модели N , 2 является

статистика

S2 - асимптотически эффективная оценка.

В модели N a,

Тема № 13 Интервальное оценивание параметров распределения

В предыдущей теме мы рассматривали точечные оценки для параметров статистической модели. Любая точечная оценка представляет собой функцию выборки, т. е. является случайной величиной, и при каждой реализации выборки эта функция определяет единственное число, которое мы принимаем за приближенное значение оцениваемой характеристики. При этом нужно принимать во внимание, что в каждом конкретном случае значение оценки может отличаться от значения параметра. Следовательно, полезно знать и возможную погрешность, возникающую при использовании предлагаемой оценки. К примеру, можно указать такой интервал, или область, внутри которого с высокой вероятностью находится точное значение оцениваемого параметра. В этом случае говорят об интервальном, или доверительном,

оценивании.
	Теперь сформулируем основное определение.
	Определение.				Рассмотрим	выборку		x1,...,xn и		две	статистики
										выполняется
1	1 x1,...,xn и			2	2 x1,...,xn . Если для некоторого 0;1
	P 1 x1,...,xn 2 x1,...,xn ,
											параметр
то говорят, что случайный интервал ( 1, 2) накрывает неизвестный
	с вероятностью не меньшей, чем .
	Если					величину			называют	доверительной
			P 1 2 , то
вероятностью или коэффициентом надежности.
						называют		доверительным		интервалом для
	Случайный интервал 1, 2
неизвестного параметра с коэффициентом надежности .
	Опишем способ, с помощью которого в ряде случаев можно построить
доверительный интервал.
	Определение.			Пусть статистическая модель					F абсолютно непрерывна, и
существует случайная величина G x1,...,xn, ,								зависящая от , такая, что:
	1)	распределение G x1,...,xn,				не зависит от ;
	2)	для	любой		фиксированной		реализации		выборки	x1,...,xn	функция
G x1,...,xn, непрерывна и строго монотонна по .
Тогда		такую случайную величину					G называют центральной статистикой

параметра .

Обратим внимание, что в силу определения центральная статистика не является статистикой в точном определении этого понятия.

Итак, пусть для модели F построена центральная статистика G x1,...,xn, , и fG t – плотность распределения этой центральной статистики.

По первому условию из определения, fG t

не зависит от , поэтому для

любого значения 0;1 можно

выбрать

величины t1 t2 (какими

угодно

способами) так, чтобы:

t dt .

P t

,...,x

Далее для определенности будем считать, что G - строго возрастающая по

функция.

Определим теперь для любой реализации выборки x1,...,xn

числа

1 x1,...,xn

и 2 x1,...,xn , где

1 x1,...,xn

2 x1,...,xn ,

как решение относительно совокупности уравнений

G x1,...,xn, t1 .G x1,...,xn, t2

Однозначность определения обоих этих чисел обеспечивается вторым условием, наложенным по определению на функцию G x1,...,xn, . Тогда

неравенство

t1 G x1,...,xn, t2

эквивалентно неравенству

1 x1,...,xn 2 x1,...,xn

и выполняется равенство

P t1 G x1,...,xn, t2


P 1	x1,...,xn 2 x1,...,xn .
Таким образом, построенный интервал			x		x1,...,xn является	-
Таким образом, построенный интервал		1	x	1,...,xn , 2	x1,...,xn является	-

доверительным интервалом для неизвестного параметра .

В каждой конкретной задаче при построении центральной статистики для оцениваемого параметра обычно приходится учитывать специфику рассматриваемой модели.

Это мы разберем на примере оценки параметров нормального распределения. Но сначала сформулируем полезную теорему.

Теорема

(Фишера – без

доказательства).

Если

x1,...,xn - выборка из

N a, 2

(случайной величины,

имеющей нормальное распределение с двумя

параметрами a и 2 ), то

1. случайные величины

i 1

xi и S2

i 1 xi

независимы,

2.имеют место следующие распределения:

xN a, n2 ,

	nS2	2	,
	2	n 1
где n2	1 – случайная величина, имеющая хи-квадрат				распределение с n 1
степенью свободы.
Определение. Пусть случайная		величина			обладает функцией
распределения F x , и дано вещественное число:				0 p 1. Тогда решения xp
уравнения
F x p

называются квантилями распределения F x уровня p .

Примеры.

1). Рассмотрим случай выборки из нормального распределения с неизвестным математическим ожиданием и известной дисперсией: N 2 .

По теореме Фишера x N , n2 ,

следовательно, функция

G x1,...,xn,		n
	x


является центральной		статистикой, имеющей стандартное нормальное

распределение N 0;1 .

P t1 G x1,...,xn, t2

	1		t2
	1		e 2 dt .

	2
	2

Рассмотрим график плотности нормального распределения:

Пусть площадь закрашенной области на графике равна , тогда сумма

площадей S1 S2	равна 1 . Удобно считать, что S1 S2	1	.
		2

<<< < Предыдущая 12 / 62 3 4 5 6 > Следующая >>>

Соседние файлы в папке Экзамен 2021

#
28.01.202280.71 Кб143tasks_done_v2.docx
#
28.01.2022280.74 Кб254tasks_done_v2.pdf
#
28.01.2022159.38 Кб33Вопросы к экзамену по АСП 2021.pdf
#
28.01.20221.34 Mб200Панков Пособие по АСП.pdf
#
28.01.20221.04 Mб66Панков Пособие по ТВиМС часть 1.pdf
#
28.01.2022730.29 Кб38Панков Пособие по ТВиМС часть 2.pdf
#
28.01.2022668.14 Кб202Панков Практикум по АСП 21.05.pdf