3.7. Дискриминантный анализ

Дискриминантный анализ – это общий термин, относящийся к нескольким тесно связанным статистическим процедурам.

Эти процедуры можно разделить на методы интерпретации межгрупповых различий и методы классификации наблюдений (объектов) по группам.

Основным предположением дискримнантного анализа является то, что существуют две или более группы (классы, таксоны, кластеры, множества, совокупности), которые по некоторым параметрам отличаются между собой.

Основная задача дискриминантного анализа часто состоит в определении по результатам наблюдений, какой из возможных групп принадлежит объект, случайно извлеченный из одной из них. Метод используется, когда информация об истинной принадлежности объекта недоступна, требует разрушения объекта или чрезмерных материальных затрат и времени.

Основные ограничения, касающиеся статистических свойств дискриминантных переменных, т.е. показателей, с помощью которых описываются объекты в группах, сводятся к следующему.

1. Ни одна переменная не может быть линейной комбинацией других переменных.

2. Ковариационные матрицы дискриминантных переменных для генеральных совокупностей равны между собой для различных групп. Это обеспечивает возможность использования для принятия решений о классификации линейных дискриминантных функций.

3. Закон распределения дискриминантных переменных для каждого класса является многомерным нормальным, т.е. каждая переменная имеет нормальное распределение при фиксированных остальных переменных. Данное предположение позволяет получить точные значения вероятности принадлежности объектов к данной группе и критерия значимости.

Пусть имеются две или более генеральные совокупности с известными или оцениваемыми по выборкам распределениями. Получена реализация какой–то из рассматриваемых многомерных СВ, характеризующих соответствующую совокупность.

Задача дискриминации (различения, идентификации) состоит в построении правила, позволяющего приписать полученную реализацию (или объект) к определенной совокупности, т.е. идентифицировать этот новый объект.

Решение задачи дискриминации состоит в разбиении всего выборочного пространства всех возможных реализаций изучаемых СВ на некоторое число областей. При попадании идентифицируемого объекта в соответствующую область этот объект приписывается к соответствующей генеральной совокупности.

Границы указанных областей должны быть по возможности простыми (например, гиперплоскостями) и выбраны таким образом, чтобы уменьшить потери от ложной дискриминации.

Часто информация о распределениях генеральных совокупностей представлена независимыми выборками из них. Такие выборки называются обучающими выборками.

Рассмотрим две нормально распределенные m–мерные генеральные совокупности ис математическими ожиданиямиии одинаковыми ковариационными матрицами_.

Если (т.е центры совокупностей не совпадают), то выборочное пространство случайных величиниможно разделить на две областиигиперплоскостью

.

Левая часть уравнения называетсядискриминантной функцией. Здесь вектор коэффициентов дискриминантной функции.

Области иможно задать неравенствами,.

Величина С называется пороговым значением.

Пусть имеется элемент выборки (или объект), которому соответствует вектор наблюдений .

Если U(Z) ³ C, то Z относим к , если жеU(Z) < C, то Z относим к .

Таким образом, задача дискриминации сводится к определению коэффициентов дискриминантной функцииU и порогового значения С (рис. 3.7.1).

Рис.3.7.1. Графическое представление дискриминантной функции

для двух переменных и двух обучающих выборок

Алгоритмы классификации.

Рассмотрим случай .

Пусть имеются две генеральные совокупности одномерной величины ис известными распределениямии.

Пусть наблюдаемый объект имеет значение Z. К какой из генеральных совокупностей (или) принадлежит этот объект?

Функция плотность величины приравна

Функция плотность величины приравна

Выбираем следующий простой алгоритм классификации: если , то отнесем объект к первой генеральной совокупности, если, то – ко второй совокупности.

Таким образом, имеем правило принятия решения:

;

Так как , то областьзадается неравенством:

Рассмотрим теперь –мерный случай.

Пусть имеются две генеральные совокупности величин ис известными–мерными распределениямии.

Для вектора наблюдений плотности вероятностей этих величин равны соответственно

Области иопределяются аналогично:

;

Для области получаем обобщение неравенства (10.1)

Если обозначить

и , то неравенство (10.2) превращается в неравенство

,

где – дискриминантная функция, С – пороговое значение.

Предположим теперь, что известны априорные вероятности и того, что случайно наблюдаемый объект принадлежит соответственно к первой генеральной совокупности или ко второй.

Пусть также известны стоимости ошибочной классификации:

–стоимость потерь из–за отнесения ко второй генеральной совокупности вектора наблюдений , принадлежащего к первой генеральной совокупности;

–стоимость потерь из–за отнесения к первой генеральной совокупности вектора наблюдений , принадлежащего ко второй генеральной совокупности.

Тогда по теореме Байеса наблюдаемый вектор будет принадлежать первой совокупности с вероятностью

,

а второй совокупности с вероятностью

.

Тогда, если мы отнесем вектор наблюдений к первой совокупности , то математическое ожидание потерь составит

.

Если отнести вектор наблюдений z ко второй совокупности , то математическое ожидание потерь составит

.

В качестве алгоритма классификации примем

Несложно определить, что область задается неравенством

.

Если какая–либо априорная информация о генеральных совокупностях отсутствует, то обычно полагают ; .

Тогда неравенство (10.3) переходит в неравенство (10.2).

Если –мерные векторы математических ожиданий,и ковариационная матрицаR генеральных совокупностей неизвестны, то по обучающим выборкам инаходят оценки этих параметров.

В этом случае оценка ковариационной матрицы вычисляется по формуле

где – несмещенные оценки ковариационных матриц;

–объемы выборок из и соответственно.

Рассмотрим задачу дискриминации для случая G нормально распределенных генеральных совокупностей .

Дискриминантную функцию i –й и q –й совокупностей можно записать в виде

.

Если параметры генеральных совокупностей неизвестны, то вычисляют их оценки по соответствующим обучающим выборкам, причем

где – несмещенная оценка ковариационной матрицы;

–объем выборки из –й совокупности,.

Если для всех q ¹ i выполняется неравенство , то наблюдаемый вектор относят к совокупности.

Дискриминантный анализ широко используется во многих прикладных исследованиях: психологическое тестирование взрослых и детей; тестирование при приеме на работу; анализ переписи населения; изучение эффектов какого–либо метода лечения; изучение экономических различий между фирмами, географическими районами; социологические исследования и др.

Считается, что наилучшим правилом классификации является байесовское решающее правило, обеспечивающие минимальные средние потери от неправильной классификации и основанные на отношении апостериорных вероятностей различных классов в данной точке пространства признаков.

На практике эти отношения оцениваются по обучающей выборке (наблюдениям с известной классификацией) с помощью параметрических и непараметрических методов.

Примером могут служить линейные дискриминантные функции Р.Фишера для нормальных распределений или метод "ближайшего соседа".

Другим возможным методом дискриминантного анализа является минимизация оценки среднего риска или метод "скользящего экзамена" в заранее заданном классе решающих правил.

Линейная дискриминантная функция Р.Фишера – такая линейная комбинация признаков, среднее значение которой в разных классах, отнесенное к ее квадратичному отклонению максимально различается.

Для нормальных распределений, отличающихся только средними, дискриминантная функция задает байесовское правило классификации.

В дискриминантном анализе нескольких классов для реализации байесовского решающего правила надо рассматривать несколько функций, позволяющие сравнивать апостериорные вероятности классов.