§2. Статистическая проверка гипотез

2.1. Основные понятия

Пусть (x₁, x₂,…, x_n) - случайная выборка объёма n из некоторой генеральной совокупности (конечной или бесконечной).

Каждое значение x_i в этой выборке само является случайной величиной, даже если генеральная совокупность состоит из конечного числа элементов. Необходимо также иметь в виду, что случайная выборка из какой-либо генеральной совокупности должна соответствовать некоторой схеме испытаний, при реализации которой выявляется искомая случайная величина X. При этом полученные в вышеупомянутой серии испытаний значения случайной величины X должны быть независимыми и распределены по тому же закону, что и сама генеральная совокупность X (хотя бы и приближённо).

Мы будем рассматривать гипотезы о виде и параметрах распределения некоторой генеральной совокупности, а также о сравнении выборок из различных генеральных совокупностей.

Определение. Статистической гипотезой называется любое предположение относительно вида или параметров генерального распределения.

Статистическая гипотеза называется параметрической, если она содержит утверждение о значении конечного числа параметров распределения, которое считается известным.

Примеры параметрических статистических гипотез:

- нормально распределенная случайная величина X имеет математическое ожидание и дисперсию ;

- две нормально распределенные случайные величины имеют одинаковую дисперсию;

Непараметрическая гипотеза - это утверждение о виде распределения. Например:

- выборка (x₁, x₂,…, x_n) соответствует нормально распределённой случайной величине X.

Пусть H₀ и H₁ - две взаимно исключающие гипотезы. Одну из них называют основной или нулевой гипотезой. Тогда конкурирующая или альтернативная гипотеза - это логическое отрицание H₀. В качестве базисного предположения принимается утверждение о справедливости одной их этих гипотез.

Отметим, что для одной основной гипотезы может быть выдвинуты несколько альтернативных

Так, например, пусть случайная величина X имеет нормальное распределение со средним a и дисперсией . Рассмотрим основную гипотезу:

Н₀ : a=0, =1.

В качестве альтернативных могут быть выдвинуты такие гипотезы:

1). H₁ : a=0, =2;

2). H₁ : a≠0, =1.

Рассмотрим их подробнее.

1). Альтернативная гипотеза H₁ по структуре такая же, как и основная. Базисное предположение в этом случае состоит в том, что случайная величина имеет нормальный закон распределения N(0, ), причем значение дисперсии либо 1, либо 2.

2). Альтернативная гипотеза H₁ более сложная, т.к. a может принимать различные значения. Базисное предположение состоит в том, что генеральное распределение имеет вид N(a,1), причем значение a неизвестно. Гипотеза такого вида называется двусторонней.

Можно было бы выдвинуть альтернативные гипотезы

H₁: a<0 (левосторонняя гипотеза); или

H₁: a > 0 (правосторонняя гипотеза).

Определение. Статистический критерий - это правило, по которому решают, принять или отклонить нулевую гипотезу H₀ (соответственно, отклонить или принять альтернативную гипотезу H₁). Обычно критерий задается с помощью критической области К . По рассматриваемой выборке вычисляется некоторая величина, зависящая от выборочных значений (статистика критерия). Если полученное значение принадлежит критический области К, нулевая гипотеза отвергается, в противном случае принимается. При этом возможны такие ситуации:

1. Гипотеза H₀ верна и она принимается.

2. Гипотеза H₀ отклоняется, хотя на самом деле она верна.

3. Альтернативная гипотеза H₁ верна и она принимается.

4. Альтернативная гипотеза H₁ отклоняется, хотя на самом деле она верна.

Во втором и четвертом случае говорят, что произошла статистическая ошибка, и её называют ошибкой первого и второго рода соответственно.

		Верная гипотеза
		H0	H1
Результат  применения  критерия	H0	H0 верно принята	H1 неверно отвергнута  (Ошибка второго рода)
	H1	H0 неверно отвергнута  (Ошибка первого рода)	H1 верно принята

О смысле ошибок первого и второго рода

Как видно из определения, ошибки первого и второго рода являются взаимно-симметричными, то есть если поменять местами гипотезы H₀ и H₁, то ошибки первого рода превратятся в ошибки второго рода и наоборот. Тем не менее, в большинстве практических ситуаций путаницы не происходит, поскольку принято считать, что нулевая гипотеза H₀ соответствует состоянию «по умолчанию» (естественному, наиболее ожидаемому положению вещей) — например, что обследуемый человек здоров, или что проходящий через рамку металлодетектора пассажир не имеет запрещённых металлических предметов. Соответственно, альтернативная гипотеза H₁ обозначает противоположную ситуацию, которая обычно трактуется как менее вероятная, неординарная, требующая какой-либо реакции.

С учётом этого ошибку первого рода часто называют ложной тревогой — например, анализ крови показал наличие заболевания, хотя на самом деле человек здоров, или металлодетектор выдал сигнал тревоги, сработав на металлическую пряжку ремня.

Соответственно, ошибку второго рода иногда называют пропуском события — человек болен, но анализ крови этого не показал, или у пассажира имеется холодное оружие, но рамка металлодетектора его не обнаружила (например, из-за того, что чувствительность рамки отрегулирована на обнаружение только очень массивных металлических предметов).

Определение. Вероятность ошибки первого рода при проверке статистических гипотез называют уровнем значимости и обычно обозначают α (отсюда название α-errors). Вероятность ошибки второго рода обозначается β (отсюда β-errors). Величина (1 − β)— мощность критерия.

Таким образом, чем выше мощность, тем меньше вероятность совершить ошибку второго рода.

В статистических тестах обычно приходится идти на компромисс между приемлемым уровнем ошибок первого и второго рода. Зачастую для принятия решения используется пороговое значение, которое может варьироваться с целью сделать тест более строгим или, наоборот, более мягким. Этим пороговым значением и является уровень значимости. Например, в случае металлодетектора повышение чувствительности прибора приведёт к увеличению риска ошибки первого рода (ложная тревога), а понижение чувствительности - к увеличению риска ошибки второго рода (пропуск запрещённого предмета).

Итак, выбирается критерий, т.е. статистика t(x₁ ,… .x_n) и критическая область. затем задают уровень значимости критерия α. При этом область значений критерия разбивают на части: область принятия гипотезы H₀ и область отклонения (критическая область К). Вероятность отклонения гипотезы H₀ в точности совпадает с уровнем значимости: P( t K) = . Для двусторонней гипотезы вся ситуация отражена на рисунке 2.1.

К

Рисунок 2.1

Критическую область в этом случае можно задать в виде двух неравенств

K= {t < К₁} {t > K₂},

критические значения К₁ и К₂ находим по заданному уровню значимости α из уравнений

P(t < К₁) = α /2 и P(t > K₂) = α /2.

Дальнейшее изложение требует знания некоторых стандартных статистических распределений. Напомним их определения.

Пусть Z₁, Z₂,…,Z_k распеределены по стандартному нормальному закону N(0,1).

Случайная величина Y= Z₁² +Z₂² +…+Z_k² распределена по закону, который называется распределением ² с k степенями своботы и обозначается ²(k).

Распределение случайной величины , где X и Y независимы и XN(0,1), и Y²(k), называется распределением Стьюдента с с k степенями своботы и обозначается t(k).

Распределение отношения где X и Y независимы и X²(k), и Y²(l), называется распределением Фишера с k и l степенями своботы и обозначается F(k,l).

Для каждого из этих определений методами теории вероятностей можно найти функцию плотности f(x), а также функцию распределения F(x). Однако практически этими распределениями пользуются с помощью таблиц, в которых приведены критические значения критериев для различной доверительной вероятности и определенном числе стпеней свободы.