Добавил:

Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Московский государственный университет приборостроения и информатики

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

teoriya_veroyatnostey.pdf

Скачиваний:

Добавлен:

09.04.2015

Размер:

3.37 Mб

Скачать

☆

<<< < Предыдущая 1 2 3 4 5 6 7 8 9 10 11 12 1314 / 1814 15 16 17 18 > Следующая >>>

Глава 8. Статистическое оценивание

§1. Точечные оценки. Выборочная средняя и выборочная дисперсия

Пусть θ — некоторый параметр закона распределения генеральной совокупности. Определение. Точечной оценкой θn* параметра θ называется произвольная функ-

ция θn (X1 ,..., X n ) случайной выборки X1 ,..., X n .

Статическая оценка является случайной величиной и меняется в зависимости от выборки. Опишем свойства, которым должна удовлетворять оценкаθn* .

Определение. Оценка θn называется несмещенной, если ее математическое ожи-

дание равно оцениваемому параметру, т.е.
M (θn* )=θ .	(8.1.1)

Определение. Оценка θn называется состоятельной, если с ростом объема выборки

она сходится к оцениваемому параметру. Можно рассматривать сходимость различных типов: по вероятности, с вероятностью равной единице, в среднем квадратичном и т.д. Как правило, рассматривается сходимость по вероятности, т.е. состоятельной называется

оценка θn , которая для каждого ε > 0 при всех возможных значениях неизвестного пара-

метра θ удовлетворяет соотношению
lim Ρ{	θn −θ	> ε}= 0 .	(8.1.2)

n→∞
Определение. Несмещенная оценка θn			называется эффективной, если она имеет

наименьшую дисперсию среди всех возможных несмещенных оценок параметра θ , вычисленных по случайным выборкам одного и того же объема.

Если оценка не является несмещенной, то она будет либо завышать значение θ , либо занижать его. В обоих случаях это приводит к систематическим ошибкам одного знака в оценке параметра θ . Состоятельность оценки обосновывает увеличение объема случайной выборки, так как при этом становится менее вероятной возможность большой ошибки в оценке параметра θ .

Замечание. В дальнейшем вместо обозначения θn будем использовать θ .

Определение. Выборочной средней называется среднее арифметическое полученных по выборке значений

	1	n
m =	1	∑X i .	(8.1.3)
m =		∑X i .	(8.1.3)
	n i=1
Определение. Вторым выборочным моментом называется среднее арифметиче-
ское квадратов, полученных по выборке значений
	1	n
m2 =	1	∑X i2 .	(8.1.4)
m2 =	n	∑X i2 .	(8.1.4)
	n	i=1

Определение. Выборочной дисперсией называется среднее арифметическое квадратов отклонений значений в случайной выборке от выборочной средней

σ 2 =	1	∑n (X i −m )2 = m2 −(m )2		.	(8.1.5)

	n i=1
Определение. Исправленной выборочной дисперсией называется произведение
выборочной дисперсии на величину				n	, т.е.
			n	−1

S 2 =

∑n

(X i

− m )2 .

(8.1.6)

n −1

−

1 i=1

Пример 1. Проверить,

является ли второй выборочный момент m2

несмещенной

оценкой второго теоретического момента.

Решение. Найдем математическое ожидание оценки m2* .

M (m2 )=

M (X12

+ X 22

+ ... + X n2 )=

(MX12

+ MX

22 + ... + MX n2 )=

∑n

m2 = m2 .z

i=1

Пример 2. Проверить, является ли оценка σ 2* несмещенной.

Решение.

Mσ

= M

∑(X i − m

)

∑(X i

− 2m

X i + (m

)

) =

n i=1

= m2

−

∑M (m X i )+ M (m )2 = m2

−

∑∑M (X i X j )+

∑∑M (X i X j )=

n i=1

n i=1 j=1

∑M (X i X j

)= m2

n −1

= m2

−

∑M X i2 −

−

σ 2

≠ σ 2 .

i=1

i , j

i≠ j

Таким образом,

σ 2*

является смещенной оценкой дисперсии σ 2 .

Очевидно, что

S 2 будет уже несмещенной оценкой дисперсии σ 2 . z

§2. Метод моментов

Пусть имеется выборка X1 ,..., X n ,

произведенная из генеральной совокупности с

теоретической функцией распределения F (x), зависящей от k параметров θ1 ,...,θk , кото-

рые нужно оценить. Зная функцию распределения, можно найти первые k

теоретических

моментов, которые будут зависеть от параметров θ1 ,..., θk :

= MX

= m

(θ

,..., θ

= MX 2 = m2

(θ1 ,..., θk ),

(8.2.1)

...

(θ1 ,..., θk ),

= MX

= mk

где X — случайная величина, имеющая функцию распределения F(x).

Метод моментов состоит в том, что в системе (8.2.1) при большом объёме выборки

n теоретические моменты m ,..., m

заменяются на выборочные

m ,..., m

, а затем, решая

эту систему относительно θ1 ,..., θk , находят оценки неизвестных параметров. Таким образом, в методе моментов оценки θ1 ,..., θk неизвестных параметров θ1 ,..., θk определяются из системы уравнений

m1	= m1 (θ1 ,...,θk ),
	= m2 (θ1 ,...,θk ),
m2	= m2 (θ1 ,...,θk ),		(8.2.2)
	...		(8.2.2)
	...

mk	= mk (θ1	,...,θk ).

Метод моментов был предложен в 1894 г. К. Пирсоном. Оценки, полученные методом моментов, как правило, являются состоятельными.

(x ≥ 0).

Пример 3. Выборка X1 ,..., X n произведена из генеральной совокупности с теоре-

тической функцией распределения, имеющей плотность показательного закона p(x)= p(x,θ)=θ e−θ x

Найти оценку параметра θ .

Решение. Математическое ожидание случайной величины X , имеющей плотность показательного закона, задаётся формулой

m1 = MX = ∞∫xp( x )dx =	∞∫xθ e−θx dx =	1	.

0	0	θ

Используя систему (8.2.2), получаем m1 = θ1 .

Откуда окончательно получаем θ = m1 . z

§3. Метод максимального правдоподобия

Метод максимального правдоподобия является наиболее распространенным методом нахождения оценок. Метод максимального правдоподобия опирается на использование условий экстремума функций одной или нескольких случайных величин. В качестве такой функции используется функция правдоподобия.

Определение. Функцией правдоподобия называется функция
L(X1 ,..., X n )= L(X1 ,..., X n ;θ)= P(X1 ;θ) P(X n ;θ)	(8.3.1)
в дискретном случае и
L(X1 ,..., X n )= L(X1 ,..., X n ;θ)= p(X1 ;θ) p(X n ;θ)	(8.3.2)

внепрерывном случае.

Вфункции правдоподобия L(X1 ,..., X n ;θ) элементы выборки X1 ,..., X n являются

фиксированными параметрами, а θ — аргументом.

Определение. Оценкой максимального правдоподобия называется такое θ , для

которого
L(X1 ,..., X n ;θ )= max L(X1 ,..., X n ;θ).	(8.3.3)

Поскольку L и ln(L) принимают максимум при одном и том же значении аргумен-

та θ , то при практической реализации метода максимального правдоподобия удобно использовать не саму функцию правдоподобия, а ее логарифм.

Определение. Уравнением правдоподобия называется уравнение

∂

ln(L(X1 ,..., X n ;θ))= 0 .

(8.3.4)

∂θ

В случае, когда теоретическая функция распределения F (X1 ,..., X n ;θ1 ,...,θk ) зависит от нескольких параметров θ1 ,...,θk , при применении метода максимального правдоподобия вместо уравнения (8.3.4) необходимо использовать систему уравнений

∂

ln(L(X

,..., X

;θ

,...,θ

))= 0,

∂θ1

. . .

(8.3.5)

∂

ln(L(X1 ,..., X n ;θ1 ,...,θk ))= 0.

∂θ

Пример 4. Найти оценки параметров m (математическое ожидание) и σ 2 (дисперсия) нормального закона распределения.

Решение.

пределения

Нормальный закон распределения характеризуется плотностью рас-

p(x,m,σ 2 )=

e−

(x−m)2

2σ 2 .

2πσ

Функция правдоподобия примет вид:

(X n −m)2

L(X1 ,..., X n ;m,σ 2 )

e−

(X1 −m)2

e−

2σ 2

2πσ

(8.3.6)

((X

1 −m)2 +...+(X n −m)2 )

−

2σ

2πσ

Логарифмируя выражение (8.3.6), получим

+ ... + (X n − m)2 ). (8.3.7)

ln(L(X1 ,..., X n ;m,σ

2 ))= −

ln(2πσ 2 )−

((X1 − m)2

2σ

Подставляя (8.3.7) в систему (8.3.5), получим

∂

ln(L(X1 ,..., X n

))=

;m,σ

∑X i − nm

= 0,

∂m

i=1

(8.3.8)

∂

ln(L(X1 ,..., X n ;m,σ

))=

∑(X i

− m)

− nσ

= 0.

∂σ

i=1

Из первого уравнения системы (8.3.8) получаем

∑X i ,

(8.3.9)

n i=1

а из второго уравнения системы (8.3.8), с учетом (8.3.9), получаем

∑(X i

− m

) .

i=1

Следует отметить, что полученная оценка является смещенной.

Читателю предлагается самостоятельно показать, что m и σ 2 доставляют максимум функции правдоподобия L(X1 ,..., X n ;m,σ 2 ). z

§4. Интервальные оценки (доверительные интервалы)

Статистическая оценка θ некоторого параметра распределения θ наблюдаемой случайной величины X , будучи функцией случайной выборки (статистикой), сама является случайной величиной, имеющей свой закон распределения и числовые характеристики (параметры) распределения. При малом числе наблюдений могут возникнуть следующие задачи:

к каким ошибкам может привести замена параметра θ его точечной оценкой θ ;

с какой степенью надежности можно ожидать, что получаемые ошибки не вый-

дут за известные пределы.

Определение. Интервальной оценкой (доверительным интервалом) называется числовой интервал (θL ,θR ), определяемый по результатам выборки, относительно которо-

го можно утверждать с определенной, близкой к единице, вероятности, что он заключает в себе значение оцениваемого параметра генеральной совокупности, т.е.

P(θL ≤θ ≤θR )= γ ,

(8.4.1)

где θL и θR — нижняя и верхняя (левая и правая) границы доверительного интервала па-

раметра θ ,γ — доверительная вероятность.

Доверительная вероятность и уровень значимости связаны соотношением

α +γ =1.	(8.4.2)
По заданной оценке θ и заданной доверительной вероятности γ	доверительные

интервалы можно построить различными способами. На практике обычно используются два типа доверительных интервалов:

двусторонние;

односторонние.

Ограничимся нахождением двусторонних доверительных интервалов. Односторонние доверительные интервалы находятся аналогично.

Для каждой доверительной вероятности γ				можно указать такое значение , что
P(	θ −θ	≤ )= P(θ − ≤θ ≤θ +	)= γ .	(8.4.3)

Определение. Величину , равную половине ширины доверительного интервала,

называют точностью оценки.

Определение. Квантилем уровня γ некоторого распределения называется такое число tγ , при котором значение соответствующей функции распределения равно γ , т.е.

γ = F (tγ ).				(8.4.4)
Теорема. Пусть плотность случайной величины X симметрична относительно оси
OY , и пусть P(	X	< t)= γ . Тогда t — квантиль уровня	γ +1	распределения случайной

			2
величины X .

Доказательство.

γ = P(X < t)=1− P(X ≥ t)=1− P(X ≥ t)− P(X ≤ −t)=1− 2P(X ≥ t),

т.к. ввиду симметричности закона распределения относительно оси OY выполнено равенство P(X ≥ t)= P(X ≤ −t). Отсюда следует, что

P(	X	≥ t)=	1−γ	=1− P(X < t)	и P(X < t)=	1+γ	.

			2			2

Рассмотрим теперь правила построения доверительных интервалов для некоторых параметров распределения.

Доверительный интервал для математического ожидания генеральной совокупности, имеющей нормальное распределение при известной дисперсии.

Пусть из генеральной совокупности X, имеющей нормальный закон распределения при известной дисперсии σ 2 и неизвестном математическом ожидании m , произведена случайная выборка X1 ,..., X n . Для оценки математического ожидания используем стати-

		1	n		σ	2
стику m	=		∑X i , которая имеет нормальное распределение с параметрами

				m,	n		.
		n i=1

Тогда статистика

m − m

n имеет нормальное распределение с параметрами (0,1). Най-

дем вероятность отклонения

m − m

γ = P

< t

= P

− m

< t

= P m

−t

< m < m

. (8.4.5)

		σ			σ
Интервал m	−t		; m	+t		, определенный по (8.4.5), представляет собой до-
Интервал m	−t	n	; m	+t		, определенный по (8.4.5), представляет собой до-
		n			n

верительный интервал для математического ожидания m при известной дисперсии σ 2 . Осталось указать, как, зная доверительную вероятность γ , выбрать в (8.4.5) значение t .

Ответом на этот вопрос является доказанная ранее теорема, т.е. t является квантилем

уровня

γ +1

нормального распределения с параметрами (0,1).

доверительный интервал для математического ожидания m при

Таким образом,

известной дисперсии σ 2

строится следующим образом:

Вычисляем оценку

m , которая является средним арифметическим элементов

выборки X1 ,..., X n .

нормального распределения с параметрами (0,1).

Вычисляем квантиль tγ +1

Строим доверительный интервал, который имеет вид:

−

γ +1

; m

γ +1

(8.4.6)

Очевидно, что точность оценки равна

= tγ +1

(8.4.7)

нормального распределения с параметрами (0,1) можно

Замечание. Квантиль tγ +1

определить разными способами, например:

используя таблицы функции Ф(t) нормального распределения с параметрами (0,1) (Приложение 3);

используя функцию НОРМСТОБР(вероятность) из EXCEL, при этом аргумент

«вероятность» данной функции должен быть равен γ 2+1 ;

используя функцию qnorm(ν, m, σ) из MATHCAD, при этом переменные данной функции должны быть равны v = γ 2+1 , m = 0, σ =1.

Доверительный интервал для математического ожидания генеральной совокупности, имеющей нормальное распределение при неизвестной дисперсии.

Пусть из генеральной совокупности X , имеющей нормальный закон распределения при неизвестной дисперсии σ 2 и неизвестном математическом ожидании m , произведена случайная выборка X1 ,..., X n . Для оценки математического ожидания используем статистику

T =	m − m	n −1 ,	(8.4.8)
	S

имеющую t –распределение (распределение Стьюдента) с v = n −1 числом степеней свободы.

Доверительный интервал для математического ожидания при неизвестной дисперсии имеет вид:

		S			S
m	−		tγ +1 ; m	+		tγ +1	.	(8.4.9)
m	−	n	tγ +1 ; m	+	n	tγ +1	.	(8.4.9)
		n	2		n	2

Очевидно, что точность оценки равна

	= tγ +1	S
					.						(8.4.10)
					.						(8.4.10)
	2		n				доверительный интервал для математического ожидания m при
Таким образом,							доверительный интервал для математического ожидания m при
неизвестной дисперсии σ 2 строится следующим образом:
1.	Вычисляем оценку m , которая является средним арифметическим элементов
	выборки						X1 ,..., X n ,	и	исправленную	выборочную	дисперсию
	S 2 =		1			∑n (X i − m )2 .
	S 2 =					∑n (X i − m )2 .
				n −1 i=1
2.	Вычисляем						квантиль	tγ +1	t –распределения	(распределения	Стьюдента) с
								2
	v = n −1 числом степеней свободы.
3.	Используя формулу (8.4.9), получаем доверительный интервал.
Замечание. Квантиль tγ +1								t –распределения (распределения Стьюдента) с l = n −1

числом степеней свободы можно определить разными способами, например:

используя таблицы t –распределения (распределения Стьюдента) с l = n −1 чис-

лом степеней;

используя функцию СТЬЮДРАСПОБР(вероятность;степени_свободы)

из EXCEL, при этом аргумент «вероятность» данной функции должен быть равен удвоенному уровню значимости, а аргумент «степени_свободы» должен быть равен n −1;

используя функцию qt(p, d) из MATHCAD, при этом переменные данной функции должны быть равны p = γ , d = n −1.

Замечание. При достаточно большом объеме n выборки различия между доверительными интервалами, определенными по формулам (8.4.6) и (8.4.9), мало, т.к., при n → ∞ , распределение Стьюдента стремится к нормальному распределению.

Доверительный интервал для дисперсии генеральной совокупности, имеющей нормальное распределение при известном математическом ожидании.

Предположим, что выборка X1 ,..., X n произведена из нормальной генеральной совокупности с неизвестной дисперсией при известном математическом ожидании, равном m . В качестве оценки неизвестной дисперсии σ 2 возьмем выборочную дисперсию

σ2 =	1	((X1 − m)2	+ + (X n − m)2 ).		(8.4.11)
	n			χ2 = nσ 2
В этом случае статистика				χ2 = nσ 2	будет иметь χ2 –распределение с n степенями
				σ 2

свободы.

Доверительный интервал для дисперсии при известном математическом ожидании имеет вид:

nσ

<σ

(8.4.12)

1+γ

1−γ

где rτ — квантиль уровня τ

χ2 –распределения с n степенями свободы.

Таким образом, доверительный интервал для дисперсии при известном математическом ожидании строится следующим образом:

1. Используя выборку X1 ,..., X n , по формуле (8.4.11) вычисляем оценку диспер-

	сии.		χ2 –распределения с n степенями свободы.
2.	Вычисляем квантили r	и r	χ2 –распределения с n степенями свободы.
	γ +1	1-γ

3.По формуле (8.4.12) получаем искомый доверительный интервал.

Замечание. Квантили r	и r	χ2 –распределения с n степенями свободы можно
γ +1	1-γ

2 2

определить разными способами, например:

используя таблицы χ2 –распределения с n степенями свободы;

используя функцию ХИ2ОБР (вероятность;степени_свободы) из EXCEL, при этом аргумент «вероятность» данной функции должен быть равен уровню значимости, а аргумент «степени_свободы» должен быть равен n ;

используя функцию qchisq(p, d) из MATHCAD, при этом переменные данной функции должны быть равны: p = γ , d = n .

Аналогично строится доверительный интервал для дисперсии генеральной со-

вокупности, имеющей нормальное распределение при неизвестном математическом ожидании.

В качестве оценки неизвестной дисперсии

S 2 = n 1−1((X1 − m )2 + + (X n − m )2 ).

В этом случае статистика χ2 =	(n −1)S2
	σ2

σ 2 возьмем выборочную дисперсию

(8.4.13)

будет иметь χ2 –распределение с n −1

степенью свободы.

Доверительный интервал для дисперсии при неизвестном математическом ожидании имеет вид:

(n −1)S 2		<σ	2	<	(n −1)S 2		,	(8.4.14)
r					r

1+γ					1−γ
	2					2

где rτ — квантиль уровня τ χ2 –распределения с n −1 степенью свободы.

Таким образом, доверительный интервал для дисперсии при неизвестном математическом ожидании строится следующим образом:

1.Вычисляем оценку m , которая является средним арифметическим элементов выборки X1 ,..., X n , и по формуле (8.4.13) вычисляем выборочную оценку дис-

	персии.		χ2 –распределения с n −1 степенью свободы.
2.	Вычисляем квантили r	и r	χ2 –распределения с n −1 степенью свободы.
	γ +1	1-γ

3.По формуле (8.4.14) получаем искомый доверительный интервал.

Пример 5. Найти доверительный интервал с доверительной вероятностью 0,95 для оценки математического ожидания, нормально распределенной случайной величины X ,

если известны ее дисперсия σ 2 =16 , выборочная средняя m =16	и объем выборки
n =16 .
Решение. По условию задачи γ = 0,95. Найдем квантиль tγ +1	= t0,95+1 = t0,975 нор-
2		2

мального распределения с параметрами (0,1), используя, например EXCEL: применяя функцию НОРМСТОБР(0,975), получим t0,975 =1,96 .

Применив (8.4.6), получим

m −	σ		tγ +1 < m < m +	σ	tγ +1 ,
	n			n
		2			2
16 −	4		1,96 < m <16 +	4	1,96,
	16			16

14,04 < m <17,96. z

Пример 6. Случайная величина X распределена по нормальному закону. Статистический ряд выборки представлен таблицей:

Zi	3	5	7	8	10	12	14
ni	3	7	4	6	7	5	8

Требуется:

1)построить доверительный интервал для оценки математического ожидания, если доверительная вероятность равна 0,97;

2)построить доверительный интервал для оценки дисперсии, если доверительная

вероятность равна 0,95.

Решение. Для оценки математического ожидания будем использовать формулу (8.4.9), т.к. дисперсия неизвестна. Вычислим все величины, присутствующие в (8.4.9).

Объем выборки n = 3 + 7 + 4 + 6 + 7 +5 +8 = 40 . Оценка математического ожидания:

362

m =

1 ∑ni Zi =

(3 3 + 7 5 + 4 7 + 6 8 + 7 10 +5 12 +8 14)=

= 9,05 .

n i =1

Исправленная выборочная дисперсия:

S 2 =

n (Z

− m )2 = 493,9 =12,664 .

∑ i

n −1 i =1

Корень квадратный исправленной выборочной дисперсии:

S =

S 2

12,664 = 3,559.

Для

доверительной вероятности γ = 0,97 найдем квантиль

tγ +1

= t0,97+1 = t0,985

t -распределения) с v = n −1 = 40 −1 = 39 числом степеней свободы. Для этого используем, например, функцию qt(p, d) из MATHCAD: qt(0.985,39)= 2.252 .

Доверительный интервал имеет вид: 9,05 − 3,55940 2,252 < m < 9,05 + 3,55940 2,252

и окончательно

7,77 < m < 10,33 .

Перейдем ко второй части задачи. Для оценки дисперсии будем использовать формулу (8.4.14), т.к. математическое ожидание неизвестно. Для данной формулы необходи-

мо вычислить

квантили rγ +1

= r0,95+1

= r0,975 и

r1-γ

= r1-0,95 = r0,025 . Используя функцию

qchisq(p, d)

из

MATHCAD,

получим:

r0,975 = qchisq(0.975,39)= 58.12

r0,025 = qchisq(0.025,39)= 23.654 .

Доверительный интервал имеет вид:

39 12,664

< σ 2

39 12,664

58,12

23,654

и окончательно

8,50 <σ 2 < 20,88 . z

<<< < Предыдущая 1 2 3 4 5 6 7 8 9 10 11 12 1314 / 1814 15 16 17 18 > Следующая >>>

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

#
09.12.2018159.74 Кб1tematika_ksebak.doc
#
21.04.201922.94 Кб9Tema_12( не проходили).docx
#
27.09.2019199.57 Кб5TEMA_6.docx
#
21.04.201924.53 Кб2Tema_7.docx
#
21.04.201924.36 Кб12Tema_8.docx
#
09.04.20153.37 Mб57teoriya_veroyatnostey.pdf
#
10.11.201847.28 Mб62TerStomNew.doc
#
27.10.2018101.38 Кб2Test po bd.doc
#
09.04.2015593.92 Кб40Testovaya_baza_po_Istorii_2012.doc
#
09.04.2015134.66 Кб21TESTOVYE_VOPROSY_po_vsem_BD-100_k_GE.doc
#
09.04.2015131.58 Кб63TESTOV_E_VOPROS_po_vsem_BD-100_Otvety1isprav.doc