program

Программа курса "Математическая статистика\

лектор к.ф.-м.н. Д. А. Шабанов

Весна 2012

1.Основная задача математической статистики. Примеры: выборка и линейная модель.

2.Различные виды сходимостей случайных векторов: с вероятностью 1, по вероятности, по распределению. Три знаменитых теоремы: закон больших чисел, усиленный закон больших чисел, центральная предельная теорема. Теорема о наследовании сходимости и лемма Слуцкого. Пример применения леммы Слуцкого.

3.Гауссовские случайные векторы (многомерное нормальное распределение): три эквивалентных определениях, основные свойства, критерий независимости компонент гауссовского вектора. Многомерная центральная предельная теорема (б/д).

4.Эмпирическое распределение и эмпирическая функция распределения. Обоснованность основной задачи математической статистики и теорема Гливенко–Кантелли.

5.Вероятностно–статистическая модель. Понятия наблюдения и выборки. Параметрическая статистическая модель. Моделирование выборки из неизвестного распределения, принадлежащему параметрическому семейству.

6.Параметрическая статистическая модель. Запас параметрических моделей, напоминание о распределении сумм независимых одинаково распределенных случайных величин.

7.Статистики и оценки. Примеры статистик: выборочные характеристики, порядковые статистики. Основные свойства оценок: несмещенность, состоятельность, сильная состоятельность, асимптотическая нормальность. Примеры. Наследование состоятельности и сильной состоятельности при взятии непрерывной функции. Лемма о наследовании асимптотической нормальности.

8.Методы нахождения оценок, общий принцип подстановки. Метод моментов, состоятельность оценки метода моментов. Выборочные квантили и выборочная медиана. Теорема об асимптотической нормальности выборочной квантилей. Примеры.

9.Сравнение оценок, функция потерь и функция риска. Подходы к сравнению оценок: равномерный, байесовский, минимаксный, асимптотический. Допустимые оценки. Сравнение оценок в многомерном случае.

1

10.Понятие плотности в дискретном случае. Доминируемое семейство распределений, его условия регулярности. Неравенство Рао–Крамера и эффективные оценки. Критерий эффективности оценки (б/д). Многомерное неравенство Рао-Крамера.

11.Метод максимального правдоподобия. Примеры. Экстремальное свойство функции правдоподобия. Состоятельность и асимптотическая нормальность оценки максимального правдоподобия в регулярном случае для одномерного параметра. Эффективность и асимптотическая эффективность оценки максимального правдоподобия.

12.Условное математическое ожидание случайной величины относительно -алгебры. Теорема Радона–Никодима (б/д) и обоснование существования условного математического ожидания. Явный вид условного математического ожидания в случае, если-алгебра порождена счетным разбиением. Основные свойства условного математического ожидания.

13.Условные распределения и условные плотности. Достаточное условие существования условной плотности. Вычисление условного математического ожидания с помощью условной плотности. Теорема о наилучшем квадратичном прогнозе.

14.Достаточные статистики и -алгебры. Критерий факторизации Неймана–Фишера (док-во для дискретного и абсолютно непрерывного случаев). Примеры. Теорема Колмогорова–Блекуэлла Рао об улучшении несмещенных оценок и ее многомерный вариант.

15.Полные достаточные статистики. Единственность наилучшей несмещенной оценки. Примеры. Экспоненциальное семейство распределений. Теорема о полной достаточной статистике в экспоненциальном семействе (б/д). Нахождение оптимальных оценок с помощью полных достаточных статистик.

16.Доверительные интервалы и доверительные области. Метод центральной статистики. Асимптотические доверительные интервалы. Построение асимптотических доверительных интервалов с помощью асимптотически нормальных оценок. Примеры.

17.Линейная регрессионная модель. Оценка наименьших квадратов, ее основные свойства. Теорема о наилучшей оценке в классе линейных оценок (б/д). Несмещенная оценка для дисперсии ошибки измерений 2.

18.Линейная гауссовская модель. Достаточные статистики в линейной гауссовской модели. Наилучшие несмещенные оценки параметров в линейной гауссовской модели, их распределения.

19.Распределения хи-квадрат, Стьюдента и Фишера. Теорема об ортогональных разложениях гауссовского вектора. Доверительные интервалы и эллипсоиды для параметров гауссовской линейной модели. Примеры.

20.Проверка статистических гипотез: общие принципы и основные понятия (критическое множество, уровень значимости, альтернативы, ошибки первого и второго

2

родов, функция мощности). Сравнения критериев: наиболее мощные и равномерно наиболее мощные критерии. Несмещенность и состоятельность статистического критерия.

21.Лемма Неймана–Пирсона. Построение с ее помощью наиболее мощных критериев. Примеры. Теорема о монотонном отношении правдоподобия (б/д). Построение равномерно наиболее мощных критериев для односторонних альтернатив. Пример построения равномерно наиболее мощного критерия в случае отсутствия монотонного отношения правдоподобия.

22.Двойственность доверительного оценивания и проверки гипотез.

23.F -критерий для проверки линейных гипотез в гауссовской линейной модели. Пример с двумя гауссовскими выборками, отличающимися сдвигом: проверка гипотезы об их однородности.

24.Проверка непараметрических гипотез. Теорема Пирсона. Критерий согласия Пирсона для проверки простой гипотезы в схеме испытаний Бернулли с m исходами.

СПИСОК ЛИТЕРАТУРЫ

1.Боровков А. А. Математическая статистика. 3-е изд. М.: Физматлит, 2007.

2.Ивченко Г. И. и Медведев Ю. И. Введение в математическую статистику. М.: Издательство ЛКИ, 2010.

3.Лагутин М. Б. Наглядная математическая статистика. М.: БИНОМ. Лаборатория знаний, 2007.

4.Леман Э. Теория точечного оценивания. Пер. с англ. М.: Наука, 1991.

5.Севастьянов Б. А. Курс теории вероятностей и математической статистики. 2-е изд. М.-Ижевск: Институт компьютерных исследований, 2004.

6.Тюрин Ю. Н. Математическая статистика. Записки лекций. М.: изд-во ЦПИ механико-математического факультета МГУ, 2003.

7.Ширяев А. Н. Вероятность. В 2-х кн. 3-е изд. М.: МЦНМО, 2004.

3

Задачи для самостоятельного решения

1. Сходимости случайных векторов

1 Приведите пример такой последовательности случайных векторов f( n; n)gn2N и та-

n (T ) :

d

4 Пусть n ! случайные векторы размерности m, а h(x1; : : : ; xm) функция m переменных, дифференцируемая в точке a 2 Rm. Найдите предел сходимости по распределению для выражения

h(a + bn n) h(a); bn

где bn ! 0 произвольная последовательность положительных чисел.

5 Пусть f ng1n=1 и f ng1n=1 две последовательности случайных величин, причем для

P P

каждого n 1 величины n и n независимы. Пусть n ! , n ! . Используя метод характеристических функций, докажите, что и тоже независимы.

6Пусть f n; n 2 Ng независимые одинаково распределенные невырожденные случайные величины с конечным вторым моментом. Пусть E i = a, Sn = 1 + : : : + n. Докажите, что у выражения

pn Snn a

есть предел сходимости по распределению, но нет предела сходимости по вероятности.

2.Суммы случайных величин

1 Случайные величины 1 и 2 независимы. Найдите распределение 1 + 2, если

(a)i Bin(ni; p), i = 1; 2;

(b)i P ois( i), i = 1; 2;

(c)i N(ai; i2), i = 1; 2;

4

(d) i ( ; i), i = 1; 2.

2Пусть случайные величины 1; : : : ; n независимы и имеют стандартное нормальное

распределение. Докажите, что случайная величина = 12 + : : : + n2 имеет распределение 2n = (12 ; n2 ).

3.Гауссовские векторы

1 Случайные величины X и Y независимые нормальные с параметрами (0; 1). Дока-

жите, что распределение случайной величины Z = (X +a)2 +(Y +b)2 зависит только p

лишь от величины r = a2 + b2.

2 Приведите пример таких двух случайных величин X и Y , что обе они стандартные нормальные, EXY = 0, но вектор (X; Y ) не является гауссовским.

3 Пусть последовательность гауссовских векторов f n; n 2 Ng размерности m сходится

2L2

квектору в L , n ! . Докажите, что тоже гауссовский вектор.

4Пусть X1; : : : ; Xn выборка из распределения Лапласа с параметром , имеющего плотность

p(x) = 21 e jxj :

Рассмотрим Y = n1 Pni=1 jXij, Z = n1 Pni=1 Xi2. Используя многомерную центральную предельную теорему, найдите предел по распределению для выражения

p

n (T ) ;

где T = Z2=(4Y 3).

4.Свойства оценок

1 Пусть X1; : : : ; Xn выборка из равномерного распределения на отрезке [0; ]. Проверьте на несмещенность, состоятельность и сильную состоятельность следующие оценки параметра : 2X, X + X(n)=2, (n + 1)X(1), X(1) + X(n), n+1n X(n).

2Пусть X1; : : : ; Xn выборка из распределения Bin(1; ). Для каких функций ( ) существуют несмещенные оценки?

3Пусть bn(X) асимптотически нормальная оценка параметра с асимптотической дисперсией 2( ). Докажите, что тогда bn(X) является состоятельной оценкой .

4 Пусть X1; : : : ; Xn выборка из экспоненциального распределения с параметром .

q

Покажите, что для любого k 2 N статистика k k!=Xk является асимптотически нормальной оценкой параметра . Найдите ее асимптотическую дисперсию.

5 Пусть X1; : : : ; Xn выборка из некоторого распределения с конечными первыми

n

четырьмя моментами: a1; a2; a3; a4. Докажите, что статистика S2 = n1 P(Xi X)2

i=1

является асимптотически нормальной оценкой 2 = DXi, и найдите ее асимптотическую дисперсию.

5

5.Основные методы нахождения оценок

1 Найдите оценки по методу моментов со стандартными пробными функциями для следующих распределений: а) N(a; 2), б) ( ; ), в) R(a; b), г) P ois( ), д) Bin(m; p), е) Geom(p), ж) Beta( 1; 2).

2Найдите оценки по методу максимального правдоподобия для следующих распределений:

а) N(a; 2) в трех случаях: когда неизвестен только один из параметров и когда неизвестны оба параметра; б) ( ; ), если параметр известен; в) R(a; b); г) P ois( ); д) Bin(m; p), если параметр m известен; е) Geom(p).

3 X1; : : : ; Xn выборка из распределения с плотностью

p ; (x) = 1 e( x)= I[ ;+1)(x):

где = ( ; ) двумерный параметр. Найдите для оценку максимального правдоподобия. Докажите, что полученная для оценка bn является асимптотически нормальной, и найдите ее асимптотическую дисперсию.

4Найдите оценку максимального правдоподобия для параметра сдвига в модели распределения Коши,

1

p (x) = (1 + (x )2);

если выборка состоит из а) одного наблюдения, б) двух наблюдений (т.е. n = 1; 2).

6.Сравнение оценок. Эффективные оценки

1 Пусть X1; : : : ; Xn выборка из равномерного распределения на отрезке [0; ]. Сравните следующие оценки параметра в равномерном подходе с квадратичной функцией потерь: 2X, (n + 1)X(1), n+1n X(n).

2Пусть 1(X) и 2(X) две наилучшие оценки параметра с одинаковыми математическими ожиданиями. Докажите, что тогда для любого они совпадают почти наверное, т.е. 1(X) = 2(X) P -п.н.

3Пусть 1(X) и 2(X) две оценки параметра 2 Rk с одинаковыми математическими ожиданиями. Докажите, что 1(X) не хуже 2(X) в среднеквадратичном подходе тогда и только тогда, когда для любой симметрической неотрицательно определенной матрицы V 2 Mat(k k) выполнено

E ( 1(X) )tV ( 1(X) ) E ( 2(X) )tV ( 2(X) )

4Пусть X1; : : : ; Xn выборка из биномиального распределения с параметрами (m; p), причем m известно. Найдите информацию Фишера i(p) в данной модели, а также эффективную оценку параметра p.

6

5Пусть X1; : : : ; Xn выборка из экспоненциального распределения с параметром . Для какой функции ( ) существует эффективная оценка? Вычислите информацию Фишера i( ) одного наблюдения в данной модели.

6Пусть X1; : : : ; Xn выборка из нормального распределения с параметрами (a; 2). Найдите эффективную оценку

а) параметра a, если известно; б) параметра 2, если a известно.

Вычислите информацию Фишера одного наблюдения в обоих случаях.

7Пусть X1; : : : ; Xn выборка из нормального распределения с параметрами (a; 2). Найдите матрицу информации Фишера в данной модели. Существует ли эффективная оценка двумерного параметра = (a; 2)?

7. Условные математические ожидания и условные распределения

1Пусть X1; : : : ; Xn выборка из распределения с конечным математическим ожиданием. Найдите E(X1j Pni=1 Xi).

2 Пусть (X; Y ) гауссовский вектор, (X; Y ) N(a; ). Найдите E(XjY ) и E(XjX +Y ).

3Случайная величина X имеет равномерное распределение на отрезке [ 1; 1]. Вычислите E(XjX2).

4Пусть X1; : : : ; Xn выборка из равномерного распределения на отрезке [0; 1]. Найдите а) E(X1jX(1)), б) E(X1jX(n)).

5 Пусть X и Y независимые случайные величины, равномерно распределенные на отрезке [0; 2]. Найдите E(Y 2jX=Y ).

6Пусть X и Y независимые случайные величины, X имеет равномерное распределение на отрезке [0; 1], а Y экспоненциальное с параметром 1. Найдите E(Y jX=Y ).

8.Достаточные статистики и оптимальные оценки

1 Найдите достаточные статистики для следующих параметрических распределений: а) N(a; 2), б) ( ; ), в) R(a; b), г) P ois( ), д) Bin(1; p), е) Geom(p), ж) Beta( 1; 2).

2 Найдите оптимальную оценку параметра > 0 по выборке из распределения: а) N( ; 1), б) R(0; ), в) P ois( ), г) Bin(1; ) (здесь 2 (0; 1).

3 Пусть X1; : : : ; Xn выборка из нормального распределения с параметрами (a; 2), a 2 R, > 0. Найдите оптимальную оценку параметра = (a; 2).

7

4Пусть X1; : : : ; Xn выборка из экспоненциального распределения с параметром > 0. Найдите оптимальные оценки для и ( ) = 1=2.

5Пусть X1; : : : ; Xn выборка из нормального распределения с параметрами (0; 2). Найдите оптимальную оценку для .

6Пусть X1; : : : ; Xn выборка из пуассоновского распределения с параметром > 0.

n

7* Пусть X = (X1; : : : ; Xn) выборка из показательного распределения с параметром > 0. Предположим, что наблюдаемы лишь r первых порядковых статистик: X(1); : : : ; X(r). Укажите в этих условиях достаточную статистику для и оптимальную оценку ( ) = 1.

9.Доверительные интервалы

1 Пусть X1; : : : ; Xn выборка из равномерного распределения на отрезке [0; ], > 0. Постройте доверительный интервал для уровня доверия , используя статистику а) X, б) X(1), в) X(n).

2 Пусть X1; : : : ; Xn выборка из распределения Коши со сдвигом, т.е.

1

p (x) = (1 + (x )2):

Постройте асимптотический доверительный интервал для уровня доверия .

3Пусть X1; : : : ; Xn выборка из пуассоновского распределения с параметром . Постройте асимптотический доверительный интервал для уровня доверия .

4Пусть X1; : : : ; Xn выборка из гамма-распределения с параметрами ( ; ). Постройте асимптотический доверительный интервал для уровня доверия , если а) известно, б) неизвестно.

10. Оценки наименьших квадратов. Гауссовская линейная модель

1В четырехугольнике ABCD независимые равноточные измерения углов ABD, DBC, ABC, BCD, CDB, BDA, CDA, DAB (в градусах) дали результаты 50:78, 30:25,

78:29, 99:57, 50:42, 40:59, 88:87, 89:86 соответственно. Считая, что ошибки измерений распределены нормально по закону N(0; 2), найдите оптимальные оценки углов1 = ABD, 2 = DBC, 3 = BD, 4 = BDA и неизвестной дисперсии 2.

8

4Пусть X1; : : : ; Xn выборка из нормального распределения с параметрами (a; 2). Постройте точную доверительную область уровня доверия для двумерного параметра = (a; 2).

11.Проверка статистических гипотез

1 Имеется X1 выборка объема 1. Основная гипотеза H0 состоит в том, что X1 имеет равномерное распределение на отрезке [0; 1], альтернатива в том, что X1 имеет показательное распределение с параметром 1. Постройте наиболее мощный критерий уровня значимости для различения этих гипотез и вычислите его мощность.

2X1; : : : ; Xn выборка из экспоненциального распределения с параметром . Постройте равномерно наиболее мощный критерий уровня значимости проверки гипотезы H0 : = 0 против альтернативы

а) H1 : > 0, б) H1 : < 0.

3X1; : : : ; Xn выборка из нормального распределения с параметрами ( ; 1). Постройте равномерно наиболее мощный критерий уровня значимости проверки

а) гипотезы H0 : 0 против альтернативы H1 : < 0, б) гипотезы H0 : 0 против альтернативы H1 : > 0,.

4X1; : : : ; Xn выборка из биномиального распределения Bin(1; ). Докажите, что не существует равномерного наиболее мощного критерия произвольного уровня значимости для проверки гипотезы H0 : = 0 против альтернативы H1 : 6= 0.

5X1; : : : ; Xn выборка из равномерного распределения на отрезке [0; ], > 0. Постройте равномерно наиболее мощный критерий уровня значимости для проверки гипотезы H0 : = 0 против альтернативы H1 : 6= 0 в виде

S(X) = X(n) > 0 [ X(n) c 0 :

9

12.F-критерий и критерий хи-квадрат

1 Постройте F -критерий уровня значимости для проверки гипотезы H0 : 2 = 1 в задаче 10.2.

2X1; : : : ; Xn выборка из распределения N(a1; 2), Y1; : : : ; Ym выборка из распределения N(a2; 2), Z1; : : : ; Zk выборка из распределения N(a3; 2). Постройте F - критерий размера для проверки гипотезы H0 : a1 = a2 и a1 + a2 = a3.

3Цифры 0; 1; 2; : : : ; 9 среди 800 первых десятичных знаков числа появились 74; 92; 83; 79; 80; 73; 77; 75; 76; 91 раз соответственно. Проверьте гипотезу о согласии этих данных с законом равномерного распределения на множестве f0; 1; : : : ; 9g на уровне значимости а) 0:05, б) 0:5, в) 0:8.

10