Дискриминантный анализ

Дискриминантный анализ является разделом многомерного стати­стического анализа, который включает в себя методы классификации многомерных наблюдений по принципу максимального сходства при наличии обучающих признаков.

Напомним, что в кластерном анализе рассматриваются методы многомерной классификации без обучения. В дискриминантном анализе новые класте­ры не образуются, а формулируется правило, по которому объекты подмножества подлежащего классификации относятся к одному из уже существую­щих (обучающих) подмножеств (классов), на основе сравнения ве­личины дискриминантной функции классифицируемого объекта, рассчитанной по дискриминантным переменным, с некоторой константой дискриминации.

Предположим, что существуют две или более совокупности (группы) и что мы располагаем множеством выборочных наблюдений над ними. Основная задача дискриминантного анализа состоит в построении с помощью этих выборочных наблюдений правила, позволяющего отнести новое наблюдение к одной из совокупностей.

Постановка задачи дискриминантного анализа

Пусть имеется множество M единиц N объектов наблюдения, каждая i–я единица которого описывается совокупностью p значений дискриминантных переменных (признаков) x_ij , (i=1,2,..., N; j = 1,2,..., р). Причем все множество M объектов включает q обучающих подмножеств (q2) M_k размером п_k каждое и подмножество M₀ объектов подлежащих дискриминации (под дискриминацией понимается различие). Здесь k - номер подмножества (класса), (k = 1,2,..., q).

Требуется установить правило (линейную или нелинейную дискриминантную функцию f(Х)) распределения m-объектов подмножества M₀ по подмножествам M_k.

Наиболее часто используется линейная форма дискриминантной функции, которая представляется в виде скалярного произведения векторов A=(a₁,a₂,…,a_p) дискриминантных множителей и вектора X_i=(x_i,1,x_i,2,…,x_i,p) дискриминантных переменных: , (6.1)

или .

Здесь _i - транспонированный вектор дискриминантных переменных x_ij - значений j -ых признаков у i –го объекта наблюдения.

Дискриминантный анализ проводится в условиях следующих основных предположений:

• множество M объектов разбито на два или более (q 2) подмножеств M_k (класса), которые отличаются от других групп переменными x_ij;

• в каждом подмножестве M_k находится, по крайней мере, два объекта (n_k 2), причем все объекты наблюдения множества M должны принадлежать какому либо из подмножеств (классов);

• число N объек­тов наблюдения должно превышать число р дискриминантных пе­ременных (0< р< N-2) не менее чем на две единицы;

• линейная независимость между признаками (j), т.е. ни один из признаков не должен быть линейной комбинацией других признаков, в противном случае он не несет новой информации;

• нор­мальный закон распределения дискриминантных переменных x_ij (по признакам).

Если приведенные предположения не удовлетворяются, то ставится вопрос о целесообразности использования дискриминантного анализа для классификации новых на­блюдений.

Основными проблемами дискриминантного анализа являют­ся отбор дискриминантных перемен­ных и выбор вида дискриминантной функции. Для получения наилучших различий обучающих подмножеств могут использоваться критерии последовательного отбора перемен­ных [6] или по­шаговый дискриминантный анализ. После определения набора дискриминантных переменных решается вопрос о выборе вида дискриминантной функции (линейной или нелинейной).

В качестве дискриминантных переменных могут выступать не только исходные (наблюдаемые) признаки, но и главные компоненты или главные факторы, выделенные в факторном анализе.

Дискриминантный анализ может использоваться и для прогнозирования поведения наблюдаемых еди­ниц статистической совокупности путем сопоставления их с поведением аналогичных объектов обучающих подмножеств.