книги / Непараметрическая статистика

других публикаций по этим вопросам, в нашей книге термин «непараметрический» останется расплывчатым»

Однако, несмотря на все свои недостатки, этот термин прижился и прочно вошел в научный обиход; сейчас вряд ли имеет смысл придумывать другие названия для непара­ метрической статистики, непараметрического теста, непара­ метрической гипотезы и т. д. Попробуем дать определения этих терминов; во всяком случае, именно в указанном ниже смысле они будут употребляться в данной книге. (При этом придется употребить некоторые понятия, вводимые в книге лишь впоследствии).

Н е п а р а м е т р и ч е с к а я з а д а ч а — статистическая задача, в которой указываются только различия между клас­ сами распределений*. По крайней мере, один из этих клас­ сов состоит из подчиняющихся некоторым довольно общим ограничениям, а в остальном неизвестных распределений; по­ этому данный класс не может быть сведен к параметрическо­

матической статистики, занимающаяся рассмотрением непа­ раметрических задач и связанных с ними теоретических проб­ лем.

ки, не предполагающих знания функционального вида рас­

мый в литературе в нескольких смыслах. Во-первых, это про­ цедура проверки гипотез, по крайней мере одна из которых является непараметрической. При непараметричности нуле­ вой гипотезы тест называется непараметрическим только в том случае, если его уровень значимости одинаков для всех распределений, охватываемых гипотезой При непараметрич­ ности альтернативной гипотезы оказывается, что разные классы непараметрических в указанном выше смысле тес­ тов обладают различными типами устойчивости функции мощности при смене распределений в рамках альтернативы.

Понятие «различия» см в § 1 7 ** Даже в превосходной книге Уилкса [1] автору пришлось по инерции

говорить о «простой непараметрической» гипотезе (а при переводе потре­ бовалось дать этому специальное дополнительное пояснение — сравни тек­ сты § 14 2(a) в оригинале и в русском издании). В нашем же понимании непараметрическая гипотеза не может быть простой, так как простой гипо­ тезе соответствует единственное, а следовательно, известное распределение.

22

В связи с этим появляются такие понятия, как устойчивые (robust), усиленно непараметрические (strongly distribution-

на, если параметр есть известный функционал от неизвестного распределения. Оценку этого функционала, полученную без предположения о типе распределения, будем называть непа­ раметрической. Отметим, что одному функционалу может со­ ответствовать несколько непараметрических оценок с раз­ личными свойствами (см. гл. VIII).

Н е п а р а м е т р и ч е с к и й ф а к т — свойство выборки (или ее преобразований), которое не зависит от функциональ­ ного вида распределения генеральной совокупности

Кроме того, в русской статистической терминологии слово «непараметрический» иногда употребляется как синоним анг­ лийского термина «distribution-free», поскольку его дословный перевод, «не зависящий от вида распределения», слишком громоздок для частого употребления в тексте

§ 1.4. ТИПЫ НЕПАРАМЕТРИЧЕСКИХ ЗАДАЧ

Как уже неоднократно подчеркивалось, самым характер­

неизвестных распределений. В предыдущем параграфе обсуж­ далось, как именно следует понимать неизвестность распре­ деления. Обсудим теперь характер конкретных задач, решае­ мых непараметрической статистикой.

Прежде всего необходимо упомянуть сугубо непараметри­

симации неизвестного распределения известными функция­ ми, которая рассматривается в обычной статистике и кото­ рая в конечном счете сводится к оценке параметров этих функций. В непараметрической постановке эта задача фор­ мулируется следующим образом: задается достаточно широ­ кий непараметрический класс распределений (например, класс всех непрерывных функций распределения или класс всех распределений, обладающих плотностью и т. д ); тре­ буется предложить процедуру, результатом которой является оценка функции распределения или плотности; конечно, тре­ буется также найти статистические свойства этой оценки, ха­

23

рактеризующие ее качество Легко видеть, что задача тре­ бует улавливать любые различия между распределениями внутри заданного класса, причем эти различия вообще не конкретизируются.

Если же эти различия конкретизировать, то мы приходим к другому кругу задач, аналогичных по своей форме класси­ ческим задачам о ц е н к и п а р а м е т р о в . Аналогия здесь опять чисто внешняя, так как о параметрах распределения в обычном смысле говорить нельзя, поскольку класс распреде­ ления непараметричен. Фактически оценивается не параметр

функционалом от распределений, выражающим наше пони­

по форме и по существу к задачам проверки гипотез в клас­ сической статистике. (Может быть, именно поэтому данный раздел непараметрической статистики и развит сегодня наи­ более сильно)

Любая задача проверки непараметрических гипотез вы­ глядит следующим образом. Из двух конкурирующих гипо­ тез альтернатива всегда непараметрична, а нулевая гипотеза может быть либо простой, либо непараметрической. Посколь­ ку по крайней мере одна гипотеза есть класс неизвестных распределений, различие между гипотезами задается в неко­ тором общем виде, не связанном с конкретным видом функ­ ции распределения Требуется предложить процедуру (тест), результатом которой явилось бы решение об истинности одной из гипотез на основании предъявленной выборки (или нескольких выборок — при многовыборочных задачах)

Перечислим теперь основные непараметрические задачи проверки гипотез и их варианты, чтобы продемонстрировать, как именно задаются гипотезы и различия между ними (При этом мы дадим постановки этих задач лишь в одновыбороч­ ном варианте, имея в виду, что обобщение на многовыбороч­ ный случай делается очевидным образом).

З а д а ч а с о г л а с и я Пусть задано известное непрерыв­ ное распределение F(x). Из неизвестного распределения G(x), принадлежащего классу всех распределений, берется выбор­ ка хи х2, , XN.

24

Как видим, нулевая гипотеза проста, альтернатива в лю­ бом из вариантов непараметрична, различие между ними вы­ ражается односторонним или простым неравенством между

F и G

З а д а ч а с д в и г а ( р а с п о л о ж е н и я ) Иногда нам известно, что интересующий нас фактор приводит к сдвигу распределения в ту или иную сторону (причем не обязательно

стоятельствах возникает задача обнаружения сдвига, назы­ ваемая иногда задачей расположения или локализации

В простейшей постановке задача расположения форму­ лируется в том случае, когда известно, что альтернатива сво­ дится т о л ь к о к сдвигу, т е . / 7(х/0) = F0(х—0)

В других случаях может быть неизвестным, проявляется ли влияние исследуемого фактора только в сдвиге, но из­ вестно, что сдвиг может иметь место Поскольку распреде­ ления неизвестны, среди них иногда могут встретиться и не имеющие моментов (по которым тоже можно было бы су­ дить о сдвиге); поэтому естественной мерой сдвига являются квантили того или иного уровня р Возможны следующие варианты задачи сдвига:

В некоторых случаях известно, что распределение сим­ метрично относительно медианы; тогда задача сдвига мо­ жет быть сформулирована с учетом этой информации:

Знание симметричности распределения можно использо­ вать при выборе структуры теста.

25

(xi, . ., xk) отсчетов одной и той же величины X) Если вид распределений задается — имеем параметрическую задачу; если же распределения считаются неизвестными — задача непараметрична.

З а д а ч а с л у ч а й н о с т и Многие из результатов ма­ тематической статистики получены в предположении, что вы­ борка является ч и с т о с л у ч а й н о й , т. е. состоит из оди­ наково распределенных и независимых величин. Если есть основания сомневаться, является ли данная выборка дейст­ вительно чисто случайной или если изучаемый фактор при­ водит к нарушению случайности выборки, то имеет смысл решить з а д а ч у с л у ч а й н о с т и :

Эта з-адача перекликается с задачей независимости, однако упор здесь делается на одинаковую распределенность вели­ чин Xt . В некоторых случаях оказывается возможным априо­

если альтернатива может быть сформулирована так, что из­

{Сг } — известный набор констант, а | — так называемая кон­ станта регрессии, то следующая задача называетсяз ад аче й р е г р е с с и и

По ряду причин еще более частная задача, когда Сг явля­ ется монотонной функцией номера г, получила специальное название з ад а ч и т р е н д а , или з а д а ч и т е н д е н ц и и .

Очевидно, что перечисленные выше задачи не исчерпыва­ ют всех возможностей различения распределений; здесь ука­ заны лишь задачи, достаточно изученные (правда, в разной мере) к настоящему времени. Укажем также, что эти задачи допускают двувыборочную и ^-выборочную формулировки, т. е. аналогичные задачи могут быть поставлены для сравне­ ния двух или более выборок между собой по тому или иному различию между их распределениями

Подчеркнем еще раз в заключение, что данные задачи допускают и «параметрический» подход, если вид распре­

27

делений известен; но нас будут интересовать лишь непара­ метрические постановки, при которых распределения счита­ ются н е и з в е с т н ы м и .

§ 1.6. ПРИНЦИП ИНВАРИАНТНОСТИ И РЕШЕНИЕ НЕПАРАМЕТРИЧЕСКИХ ЗАДАЧ

Было бы весьма желательно найти некоторый общий под­ ход к решению каждой непараметрической задачи, т. е. най­ ти такой алгоритм, действуя согласно которому, мы могли бы построить процедуру ее решения. Поскольку теперь рас­ пределения, участвующие в задаче, неизвестны, мы не можем записать функцию правдоподобия или функционал среднего риска и т. п., т. е. лишены возможности применять методы классической статистики. Необходимо найти метод, который давал бы решающие функции без предположения об извест­ ности распределений. Определенные надежды в этом отно­ шении дает теория инвариантности, которая, по существу, является таким алгоритмом синтеза статистических проце­ дур для задач, обладающих симметрией того или иного ви­ да. Для более детального ознакомления с принципом инва­ риантности отошлем читателя к главе 6 книги Э. Лемана [1]; здесь же дадим лишь беглый обзор этапов синтеза процедур согласно этому принципу и обсуждение его пригодности для целей непараметрической статистики. Для определенности будем пока говорить лишь о задачах проверки гипотез.

Первый этап синтеза состоит в том, чтобы указать груп­ пу G преобразований g величины X, сохраняющих инвариант­ ной задачу проверки гипотезы #о против альтернативы Hi. Дело в том, что многие статистические задачи обладают сим­ метрией, математическим выражением которой и является инвариантность относительно некоторой группы преобразова­ ний. Например, если нулевая гипотеза состоит в том, что все F[ (х), i = l , 2, ..., N, равны, а альтернатива в том, что не все они одинаковы, то* «естественно ограничиться рас­ смотрением только критериев [статистик], симметричных от­ носительно значений Х\, х?, ..., хы, поскольку в противном слу­ чае принятие или отклонение той или иной гипотезы зависело бы (что совершенно не относится к делу) от нумерации этих переменных». В этом случае подходящей группой G преобра­ зований g «является группа всех перестановок величин Х\, ..., х,м, поскольку функция от N переменных симметрична тогда и только тогда, когда она остается инвариантной при всевозможных перестановках этих переменных».

* Здесь и далее в этом параграфе в кавычках приводятся цитаты из главы 6 книги Э. Лемана [1].

28

Вторым этапом синтеза является отыскание максималь­ ного инварианта Т(х). Смысл этой операции состоит в сле­ дующем. Если к х применить последовательно все преобра­ зования g из G, то получится совокупность эквивалентных точек, называемая траекторией G в выборочном пространст­ ве. Функция Т (х) называется максимальным инвариантом, если она инвариантна и если она постоянна на каждой тра­ ектории, а на различных траекториях принимает различные значения. Например, пусть задана выборка хи ..., хл/, a G — множество N1 перестановок этих координат. «Тогда множест­ во упорядоченных координат (порядковых статистик) х (1) -< ^ * ( 2 ) ^ —^*(Л') является максимальным инвариантом. Пере­

становка координат xt не изменяет, очевидно, множества значений координат и поэтому не изменяет величин х{ ) С другой стороны, две выборки с одними и теми же значе­ ниями порядковых статистик могут быть получены одна из другой перестановкой координат».

После того, как максимальный инвариант найден, задача редуцирована, т. е. сведена к совокупности новых случайных

.величин, сохранивших всю информацию о задаче в том смыс­ ле, что их статистические свойства при гипотезе и альтер­ нативе различаются известным образом. Можно показать, что «класс всех инвариантных критериев совпадает со мно­ жеством критериев, зависящих только от максимальной инва­ риантной статистики Т(х)». Поэтому следующий этап состоит в построении решающей функции б на основе Т(х), чем и

но наиболее мощный) критерий для решения данной задачи. Надо сказать, что принцип инвариантности иногда весьма небезуспешно претендует на решение непараметрических за­ дач. Например, с его помощью очень красиво может быть построена теория ранговых тестов (см. Гаек и Шидак [1]). Подчеркнем, однако, те особенности принципа инвариантно­ сти, которые в известной мере ограничивают его практиче­ ское применение в непараметрической статистике.

Прежде всего, соображения инвариантности не являются универсальными, т. е. пригодными для решения любых задач. Для получения решающих процедур даже в рамках класси­ ческой статистики его дополняют требованиями к другим свойствам критериев (несмещенности, почти инвариантности, некоторым свойствам функции мощности и т. д. — см. Ле­ ман [1]). В некоторых случаях принцип инвариантности во­ обще неприменим (см. Леман [1], стр. 310); иногда он при­ меним, но его использование «не приносит успеха».

29

Во-вторых, использование принципа инвариантности даже в случае его успешного применения не обязательно приводит к получению непараметрических тестов, т. е. тестов, обладаю­ щих постоянством уровня значимости для всех распределений нулевой гипотезы.

И наконец, существенным недостатком этого принципа яв­ ляется его неполная алгоритмичность. В ряде случаев нахож­ дение подходящей группы преобразований G не представляет труда, но нет четких рецептов построения такой группы в бо­ лее сложных случаях Далее, нет также алгоритма нахожде­ ния максимального инварианта. Правда, иногда его можно «угадать»; в других случаях «оказывается удобным получать максимальные инварианты в несколько этапов, на каждом шаге находя их для подгрупп группы G». Однако Леман ([1], стр. 294) тут же приводит пример, показывающий, что успех на этом пути сильно зависит от выбора подгрупп, а главное — от того, в какой последовательности перебирают­ ся эти подгруппы. Никаких общих рекомендаций в этом от­ ношении пока не имеется.

Все это вместе взятое приводит к необходимости разви­ вать принципиально другие подходы к синтезу процедур ре­ шения непараметрических задач Один из таких подходов изложен в § 1 6, другой — в § 1 7

§ 1.6. ЭВРИСТИЧЕСКИЙ ПОДХОД к РЕШЕНИЮ

НЕПАРАМЕТРИЧЕСКИХ ЗАДАЧ

Подход к решению непараметрических задач, излагаемый в данном параграфе, состоит в том, чтобы накопить арсенал средств, каждое из которых пригодно для решения конкрет­ ного типа (или нескольких типов) задач. Имея перед собой некоторую задачу, мы можем выбрать из этого арсенала кон­ кретное «орудие» и приспособить его для решения этой за­ дачи Подчеркнем, что при этом не имеется в виду пойти по пути простого накопления и рассортировки конкретных про­ цедур, как это сделал Дж Уолш [1] в своем фундаменталь­ ном трехтомном «Справочнике по непараметрической стати­ стике», хотя и такая работа чрезвычайно полезна Нас будут интересовать прежде всего принципиальные, теоретические вопросы получения результатов, пригодных для построения к л а с с о в процедур, ориентированных на классы непарамет­ рических задач; и только затем мы будем заниматься кон­ кретными процедурами.

Во всех непараметрических задачах рассматриваются классы распределений, задаваемые лишь некоторыми общи­ ми для всех внешними свойствами, а в остальном распреде-

30

ления произвольны и неизвестны Такая общность в поста­ новке задач наводит на вопрос: а не существует ли общности и в их решении^ Оказывается, единство методики решения

с п о с о б о м с н а ч а л а п р и в о д и т с я к з а д а ч е , в к о т о р о й ф и г у р и р у е т и з в е с т н о е р а с п р е д е л е ­

На первый взгляд может показаться странным, что мно­ жество неизвестных распределений оказывается возможным

функций от выборки. Задание даже самых общих ограниче­ ний на класс распределений приводит к появлению некото­ рых свойств, общих для выборок из любого распределения этого класса. Такие свойства выборки, не зависящие от вида распределения, называются непараметрическими фактами. Именно непараметрические факты и позволяют сводить непа­ раметрические гипотезы к простым, и одной из основных задач непараметрической статистики является нахождение, изучение и систематизация таких фактов.

Можно выделить два основных типа непараметрических фактов (Ф. П. Тарасенко [2]). Первый — это непараметричность различных проявлений закона больших чисел: при достаточно широких ограничениях на свойства распределе­ ния выборки некоторые статистики обладают известными распределениями либо свойством сходимости их распределе­ ний к предельным и и з в е с т н ы м распределениям. Так, относительные частоты подчиняются биномиальному (и асимп­ тотически нормальному) распределению; ряд линейных ста­ тистик имеет асимптотически нормальное распределение; дру­ гие статистики (например, статистики колмогоровского типа, крайние порядковые статистики и т. д.) обладают не нор­ мальными, но известными асимптотическими распределения­ ми, независимо от того, каково распределение выборки. (Не­ обходимо помнить, что в ряде случаев при этом предполага­ ется независимость выборочных значений).

Второй тип иепараметрических фактов — это «внутрен­ ние» свойства самой исходной выборки, не зависящие от ви­ да распределения. Метод вскрытия непараметрических свойств выборки сводится к тому, чтобы подвергнуть выбор-

31