Практикум по прикладой статистике

структурные коэффициенты, которые представляют собой коэффициенты корреляции между значениями функции для объектов и соответствующими значениями дискриминатных переменных.

Задача определения принадлежности нового объекта к одному из заданных классов может быть решена с помощью:

1)расчета значений канонических дискриминатных функций для новых объектов;

2)линейного дискриминантного анализа;

3)определения расстояний от нового объекта до центра

классов;

4)расчета вероятностей отнесения нового объекта к классам.

Линейный дискриминантный анализ

Идея линейного дискриминатного анализа заключается в определении линейной комбинации дискриминантных переменных, позволяющих максимизировать межклассовую дисперсию и минимизировать внутриклассовую. Для отнесения нового объекта к одному из классов рассчитываются значения линейных классификационных функций, далее объект относится к тому классу, для которого значение соответствующей функции наибольшее.

Рассмотрим алгоритм линейного дискриминантного анализа в

случае наличия обучающих выборок из двух классов Х1 и Х2

переменных по имеющимся выборкам из каждого класса объектов:

определяются по формуле

100

где i, j=1,2,…,k номера переменных (столбцов); l=1,2,…n – номера объектов (строк); n – количество объектов в соответствующей выборке из классов.

Х* к одному из классов на основе определения значения выражения

неотрицательно, тогда объект из группы Х* относится к классу Х1 , в противном случае к классу Х2.

Пример 5.1. Имеются данные по двум группам объектов Х1 и Х2, характеризующиеся тремя показателями. Необходимо провести классификацию группы новых объектов Х*.

Таким образом, первый и второй объекты из группы, которые необходимо классифицировать, относятся к классу Х2, так как

102

соответствующее значение вектора решений отрицательно, второй объект относится к Х1.

Следующий способ дискриминации новых объектов заключается в определении расстояния до центра каждого класса. В качестве меры расстояния от нового объекта Х* до класса Хk

относится к классу, расстояние до центра которого, наименьшее. Использование расстояний в качестве критерия определения

принадлежности объекта к классу имеет существенный недостаток: объект может находиться на большом расстоянии от всех классов и отнесение его к более близкому классу может оказаться ошибочным. В этом случае целесообразно использовать вероятностную характеристику, которая позволяет оценить вероятность того, что объект, удаленный на определенное расстояние от центра класса, с определенной вероятностью относится к нему. Формула вероятности принадлежности объекта

классу Хl, определенная как доля объектов в этом классе, расположенных на большем расстоянии от центра класса, чем объект Х*; l=1,2…, k,…m - номера классов.

Метрика Махаланобиса используется и для оценки качества различения классов. Чем больше квадрат расстояния Махаланобиса между центрами классов, тем больше различаются классы по дискриминантным переменным и лучше проведена дискриминация.

В качестве критерия значимости различий между классами также используется статистика λ-Уилкса. Значение λ-Уилкса вычисляется как отношение определителя матрицы внутриклассовой ковариации к определителю общей ковариационной матрицы. Если показатель принимает значение близкое к единице, то средние значения дискриминантных

103

переменных для разных классов не различаются; если значение близко к нулю, то внутригрупповая дисперсия мала по сравнению с общей дисперсией. Значения показателя близкие к нулю свидетельствуют о хорошем различении классов. Преимуществом использования статистики λ-Уилкса для оценки качества дискриминации является то, что она учитывает как различия между классами, так и однородность каждого класса.

Пошаговый дискриминантный анализ

Проведение дискриминантного анализа сопряжено с определением набора переменных, которые позволяют наилучшим образом различать классы и классифицировать новые объекты. Эта задача решается с помощью последовательного отбора переменных

(пошагового дискриминантного анализа).

Рассмотрим процедуру последовательного отбора дискриминантных переменных, наилучшим образом различающих классы. Прямая процедура последовательного отбора начинается с выбора переменной, обеспечивающей наилучшее одномерное различение классов. На следующем шаге рассматривается сочетание выбранной переменной с остальными переменными. Здесь находится пара, дающая наилучшее двумерное различение классов. Далее процедура переходит к отбору наилучшего набора из трех переменных, две из которых отобраны на предыдущих шагах. На каждом шаге прямой процедуры последовательного отбора отбирается новая переменная, которая в сочетании с ранее полученным набором переменных дает наилучшее различение классов. Процесс продолжается до тех пор, пока не будут рассмотрены все переменные или включение новой переменной даст худшее или такое же различение [3, с. 122].

Процедура последовательного отбора может работать и в обратном направлении: на первом шаге различение проводится одновременно по всем переменным, на последующих шагах из анализа исключаются переменные, наихудшим образом дискриминирующие классы. Прямая и обратная процедуры могут использоваться как самостоятельно, так и совместно, но чаще на практике применяется прямой метод.

104

Для принятия решения о включении или исключении отдельной переменной из анализа рассчитываются значения частных F-статистик (f-включения и f-удаления) и теста толерантности.

Статистика f-включения оценивает улучшение различия между классами в результате включения переменной в анализ по сравнению с различием, достигнутым с помощью других переменных, участвующих в дискриминации. Если значение f- включения с числом степеней свободы (m-1) и (n-p-m+1) (m – количество классов, n – число объектов наблюдений по всем классам, p – количество дискриминантных переменных) меньше соответствующего табличного значения, то включение данной переменной в анализ не улучшает различение классов.

Статистика f-удаления оценивает значимость ухудшения различия классов после удаления переменной из анализа. Если значение f-удаления (m-1, n-p-m+1) больше соответствующего табличного значения, тогда исключение переменной из анализа ухудшает различение классов. Статистика f-удаления также используется для ранжирования дискриминационных способностей переменных.

Толерантность переменной равна единице минус квадрат множественной корреляции между этой переменной и всеми другими переменными, участвующими в анализе. Толерантность является мерой линейной зависимости между переменной и набором других переменных. Значение показателя близкое к нулю свидетельствует о том, что переменная приблизительно является линейной комбинацией одной или нескольких, включенных в анализ. Такую переменную нежелательно использовать в анализе, так как она не несет в себе новой информации.

Решение типовой задачи с помощью ППП Statistica

Задача. У исследователя имеются данные выборочного обследования выпускников, которые окончили школу в предыдущем учебном году, также школьников, выпускающихся в текущем году, по следующим показателям:

х1 – уровень образования матери; х2 – среднемесячный доход на одного члена семьи;

105

х3 – значение, придаваемое наличию высшего образования.

Показатель х1 принимает следующие значения: среднее (полное) – 0, среднее специальное – 1, неоконченное высшее – 2, высшее – 3; показатель х2: до 5 тыс. руб. – 0, до 10 тыс. руб. – 1, до 15 тыс. руб. – 2, до 20 тыс. руб. – 3, до 25 тыс. руб. – 4, свыше 25 тыс. руб. – 5, показатель х3: от 0 до 5 по мере возрастания значимости.

В таблице представлены данные обследования выпускников и школьников. В группу №1 входят выпускники, которые не продолжили обучение после окончания школы, группа № 2 - продолжили обучение в учебных заведениях среднего профессионального образования, группа № 3 - поступили в высшие учебные заведения. Необходимо определить наиболее вероятный выбор каждого школьника.

Таблица 5.1 Результаты обследования выпускников и школьников

106

Решение:

1.Ввести данные в ППП Statistica путем непосредственного набора данных в рабочий лист (Spreadsheet) или переноса подготовленной таблицы данных из MS Excel. Ввести новую переменную Var 4 (группировочную) в анализ со значениями для группы №1 - 0, группы №2 - 1, группы №3 - 2.

2.Запустить диалоговое окно дискриминантного анализа: открыть меню Статистика (Statistics) и выбрать команду Многомерные исследовательские методы (Multivariate Exploratory Techniques) → Дискриминантный анализ (Discriminant Analysis).

Откроется стартовая панель дискриминантного анализа (рис. 5.1).

Рис. 5.1. Диалоговое окно дискриминантного анализа

3.Выбрать переменные для анализа: на стартовой панели дискриминантного анализа нажать кнопку Переменные (Variables). Откроется окно выбора переменных (рис. 5.2).

4.В открывшемся окне в качестве группировочной переменной задать Var 4, дискриминантных переменных – Var 1- Var 3. Нажать кнопку Ok.

5.Вернуться в диалоговое окно дискриминантного анализа нажать кнопку Коды группировочной переменной (Codes for grouping variables). В открывшемся окне нажать кнопу Все (All) для

107

выбора всех значений группировочной переменной (рис. 5.3). Нажать кнопку Ok.

Рис. 5.2. Окно выбора переменных для анализа

Рис. 5.3. Окно выбора кодов группировочной переменной

6.В поле Дополнительные параметры (пошаговый анализ)

(Advanced options (stepwise analysis)) установить флажок.

Диалоговое окно дискриминантного анализа примет следующий вид (рис. 5.4). Нажать кнопку Ok.

7.Откроется диалоговое окно задания параметров дискриминантной модели. Для корректного определения параметров модели необходимо просмотреть описательные статистики: перейти на вкладку Описательные (Descriptives) и нажать на кнопку Просмотреть описательные статистики (Review Descriptive Statistics). Откроется панель описательных статистик.

108

Рис. 5.4. Диалоговое окно дискриминантного анализа

8. На вкладке Все наблюдения (All cases) представлены следующие описательные статистики: Объединенные внутригрупповые ковариации и корреляции (Pooled within-groups covariance&correlations), Поле корреляций (Plot of total correlations), Диаграмма размаха средних значений (Box plot of means) (рис. 5.5).

Рис. 5.5. Описательные статистики

109