8.3.3. Расчет коэффициентов дискриминантной функции

Коэффициенты дискриминантной функции a_i определяются таким образом, чтобы и значительно различались между собой, т.е. чтобы для двух множеств (классов) было максимальным выражение

.

(8.16)

Тогда можно записать следующее:

,

(8.17)

где k – номер группы;

р – число переменных, характеризующих каждое наблюдение.

Обозначим дискриминантную функцию fk(x) как Ykt (k – номер группы, t – номер наблюдения в группе). Внутригрупповая вариация может быть измерена суммой квадратов отклонений

.

(8.18)

По обеим группам это будет выглядеть следующим образом:

.

(8.19)

В матричной форме это выражение может быть записано так:

,

(8.20)

где Х'₁ – транспонированная матрица отклонений наблюдаемых значений исходных переменных от их средних величин в первой группе;

Х'₂ – аналогичная матрица для второй группы;

А – вектор коэффициентов дискриминантной функции.

;

.

Объединенная ковариационная матрица S_* определяется так:

,

(8.21)

следовательно, выражение (8.20) дает оценку внутригрупповой вариации и его можно записать в виде

.

(8.22)

Межгрупповая вариация может быть измерена как

.

(8.23)

При нахождении коэффициентов дискриминантной функции a_j следует исходить из того, что для рассматриваемых объектов внутригрупповая вариация должна быть минимальной, а межгрупповая вариация – максимальной. В этом случае мы достигнем наилучшего разделения двух групп, т.е. необходимо, чтобы величина F была максимальной:

.

(8.24)

В точке, где функция F достигает максимума, частные производные по a_j будут равны нулю. Если вычислить частные производные и приравнять их нулю, то после преобразований получим выражение

; .

(8.25)

Из этой формулы и определяется вектор коэффициентов дискриминантной функции А.

Полученные значения коэффициентов подставляют в формулу (8.15) и для каждого объекта в обеих группах (множествах) вычисляют дискриминантные функции, затем находят среднее значение для каждой группы. Таким образом, каждое i-e наблюдение, которое первоначально описывалось т переменными, будет как бы помещено в одномерное пространство, т.е. ему будет соответствовать одно значение дискриминантной функции, следовательно, размерность признакового пространства снижается.

8.3.4. Классификация при наличии двух обучающих выборок

Перед тем как приступить непосредственно к процедуре классификации, нужно определить границу, разделяющую в частном случае две рассматриваемые группы. Такой величиной может быть значение функции, равноудаленное от f_i и f₂ , т.е.

.

(8.26)

Величина С называется константой дискриминации.

На рис. 8.19 видно, что объекты, расположенные над прямой f(x) = a_ix_l +а₂х₂+...+а_рх_р =С, находятся ближе к центру множества M_i и, следовательно, могут быть отнесены к первой группе, а объекты, расположенные ниже этой прямой – ближе к центру второго множества, т.е. относятся ко второй группе. Если граница между группами выбрана так, то суммарная вероятность ошибочной классификации минимальная.

Рассмотрим пример использования дискриминантного анализа для проведения многомерной классификации объектов. При этом в качестве обучающих будем использовать сначала две выборки, принадлежащие двум классам, а затем обобщим алгоритм классификации 2-х групп на случай k классов.

Пример 8.6. Имеются данные (табл. 8.11) по двум группам промышленных предприятий машиностроительного комплекса:

Х₁ – фондоотдача основных производственных фондов, руб.;

X₂ – затраты на один рубль произведенной продукции, коп.;

X_з – затраты сырья и материалов на один рубль продукции, коп.

Таблица 8.11. Исходные данные к примеру 8.6

Группа	Номер предприятия	Х1	Х2	Х3
1	1 2 3 4	0,50 0,67 0,68 0,55	94,0 75,4 85,2 98,8	8,50 8,79 9,10 8,47
2	5 6 7	1,52 1,20 1,46	81,5 93,8 86,5	4,95 6,95 4,70

Необходимо провести классификацию четырех новых предприятий, имеющих следующие значения исходных переменных:

1-е предприятие: х₁ = 1,07, х₂ = 93,5, х₃ =5,30;

2-е предприятие: х₁ = 0,99, х₂ = 84,0, х₃ = 4,85;

3-е предприятие: х₁ = 0,70, х₂ = 76,8, x₃ = 3,50;

4-е предприятие: х₁ = 1,24, х₂ = 88,0, х₃ = 4,95.

Для удобства запишем значения исходных переменных для каждой группы предприятий в виде матриц Х₁ и Х₂.

;.

Рассчитаем среднее значение каждой переменной в отдельных группах для определения положения центров этих групп:

I гр.: х₁₁=0,60, x₂₁=88,4, x₃₁=8,72;

II гр.: x₁₂ = 1,39, x₂₂ = 87,3, x₃₂ =5,53.

Дискриминантная функция f(х) в данном случае имеет вид

f(x) = alxl+a2x2+a3x3.

(8.27)

Коэффициенты а_1, а₂ и а₃ вычисляются по формуле

,

где Х₁, Х₂ – векторы средних в первой и второй группах;

А – вектор коэффициентов;

S_* – матрица, обратная совместной ковариационной матрице.

Для определения совместной ковариационной матрицы S_* нужно рассчитать матрицы S₁ и S₂. Каждый элемент этих матриц представляет собой разность между соответствующим значением исходной переменной х_ij и средним значением этой переменной в данной группе x_ik (k – номер группы):

;.

Тогда совместная ковариационная матрица

,

где n₁, n₂ – число объектов 1-й и 2-й групп;

.

Обратная матрица

.

Отсюда находим вектор коэффициентов дискриминантной функции по формуле

,т.е.

a₁ =−185,03, а₂=1,84, а₃=4,92.

Подставим полученные значения коэффициентов в формулу (8.35) и рассчитаем значения дискриминантной функции для каждого объекта1-го множества:

7

Для 2-го множества:

Тогда константа дискриминации С = 1/2(94,4238 – 70,0138) = = 12,205.

После получения константы дискриминации можно проверить правильность распределения объектов в уже существующих двух классах, а также провести классификацию новых объектов.

Рассмотрим, например, объекты с номерами 1, 2, 3, 4. Для того чтобы отнести эти объекты к одному из двух множеств, рассчитаем для них значения дискриминантных функций (по трем переменным):

f₁ = −185,03 х 1,07 + 1,84 х 93,5 + 4,92 х 5,30 = 0,1339;

f₂ = −185,03 х 0,99 + 1,84 х 84,0 + 4,92 х 4,85 = –4,7577;

fз = −185,03 х 0,70 + 1,84 х 76,8 + 4,92 х 3,50 = 29,0110;

f₄ = −185,03 х 1,24 + 1,84 х 88,0 + 4,92 х 4,95 = –43,1632.

Таким образом, объекты 1, 2 и 4 относятся ко второму классу, а объект 3 относится к первому классу, так как f₁ < с, f₂ < с, fз > с, f₄ < с.

При необходимости можно проводить разбиение множества объектов на k классов (при k > 2). В этом случае нужно рассчитать k дискриминантных функций, так как классы будут отделяться друг от друга индивидуальными разделяющими поверхностями. Вначале определяется дискриминационная функция между классами М₁ и М₂, затем между М₂ и М₃ и так далее. На рис. 8.21 показан случай с тремя классами.

Для оценки вклада отдельной переменной в значение дискриминантной функции целесообразно пользоваться стандартизованными коэффициентами дискриминантной функции. Стандартизованные коэффициенты можно рассчитать, если стандартизовать значения исходных переменных таким образом, чтобы их средние значения были равны нулю, а дисперсии – единице.

Рис. 8.21. Три класса объектов и разделяющие их прямые: f₁ – первая дискриминантная функция, f₂ – вторая и fз – третья

В примере с двумя классами, рассмотренном выше, дискриминантная функция имела вид

f = −185,03X₁+ 1,84X₂ + 4,92X₃.

Следовательно, наибольший вклад в величину дискриминантной функции вносит переменная Х₁.

Определим значения стандартизованных коэффициентов и запишем новое значение дискриминантной функции:

f'= −211,32Z₁ − 99,26Z₂ − 12,48Z₃.

Стандартизованные коэффициенты дискриминантной функции тоже показывают определяющее влияние первой переменной на величину дискриминантной функции.

Различные знаки у структурных коэффициентов можно интерпретировать следующим образом. Исходные переменные, имеющие различное направление связи с дискриминантной функцией, т.е. положительные или отрицательные структурные коэффициенты, будут ориентировать объекты в различных направлениях, удаляя или приближая их к центрам соответствующих классов.

224 225