Методы кластеризации
Общепринятой классификации методов кластеризации не существует, но можно отметить солидную попытку В.С.Берикова и Г.С.Лбова[8]. Если обобщить различные классификации методов кластеризации, то можно выделить ряд групп (некоторые методы можно отнести сразу к нескольким группам и потому предлагается рассматривать данную типизацию как некоторое приближение к реальной классификации методов кластеризации):
Вероятностный подход. Предполагается, что каждый рассматриваемый объект относится к одному из k классов. Некоторые авторы (например, А.И.Орлов) считают, что данная группа вовсе не относится к кластеризации и противопоставляют её под названием "дискриминация", т.е. выбор отнесения объектов к одной из известных групп (обучающих выборок).
K-средних (K-means)
EM-алгоритм
Алгоритмы семейства FOREL
Дискриминантный анализ
Подходы на основе систем искусственного интеллекта. Весьма условная группа, т.к. методов AI очень много и методически они весьма различны.
Метод нечеткой кластеризации C-средних (C-means)
Нейронная сеть Кохонена
Генетический алгоритм
Логический подход. Построение дендрограммы осуществляется с помощью дерева решений.
Теоретико-графовый подход.
Иерархический подход. Предполагается наличие вложенных групп (кластеров различного порядка). Алгоритмы в свою очередь подразделяются на агломеративные (объединительные) и дивизивные (разделяющие). По количеству признаков иногда выделяют монотетические и политетические методы классификации.
Иерархическая дивизивная кластеризация или таксономия. Задачи кластеризации рассматриваются в количественной таксономии.
Практическая часть
Задание 1
Психолог проводит групповой тренинг. Его задача – выяснить будет ли эффективен данный конкретный вариант тренинга для снижения уровня тревожности участников? Для решения этой задачи психолог с помощью теста Тэйлора дважды выявляет уровень тревожности у 14 участников до, и после проведения тренинга. Результаты приведены в таблице:
№ испытуемого |
Уровень тревожности |
|
|
|
|||
До тренинга |
После тренинга |
||
1 |
30 |
34 |
|
2 |
39 |
39 |
|
3 |
35 |
26 |
|
4 |
34 |
33 |
|
5 |
40 |
34 |
|
6 |
35 |
40 |
|
7 |
22 |
25 |
|
8 |
22 |
23 |
|
9 |
32 |
33 |
|
10 |
23 |
24 |
|
11 |
16 |
15 |
|
12 |
34 |
27 |
|
13 |
33 |
35 |
|
14 |
34 |
37 |
|
Гипотезы:
Н0: Данный вариант тренинга для снижения уровня тревожности участников не является эффективным.
Н1: Тренинг для снижения уровня тревожности у участников эффективен.
Критерий парных выборок |
|
||||||||||||
|
Парные разности |
t |
ст.св. |
Значимость (2-сторонняя) |
|
||||||||
Среднее |
Стд. отклонение |
Стд. ошибка среднего |
95% доверительный интервал разности средних |
|
|
|
|
||||||
Нижняя граница |
Верхняя граница |
|
|
|
|
||||||||
Пара 1 |
До - После |
,286 |
4,232 |
1,131 |
-2,158 |
2,729 |
,253 |
13 |
,805 |
||||
Вывод: Принимается нулевая гипотеза, т.к. р>0,05 = 0,805; а отсюда следует, что этот вариант тренинга для снижения уровня тревожности не является эффективным
Задание 2
Получив отрицательный результат, психолог внёс в способ тренинга коррективы. Он снова выдвигает гипотезу: улучшенный способ тренинга позволяет эффективно снижать уровень тревожности у испытуемых. Для проверки этого утверждения он провёл аналогичный эксперимент, но уже на большей выборке испытуемых, включающей 19 человек.
№ испытуемого |
Уровень тревожности |
|
|
|
|||
До тренинга |
После тренинга |
||
1 |
24 |
22 |
|
2 |
12 |
12 |
|
3 |
40 |
23 |
|
4 |
30 |
31 |
|
5 |
40 |
32 |
|
6 |
35 |
24 |
|
7 |
40 |
40 |
|
8 |
32 |
12 |
|
9 |
40 |
22 |
|
10 |
24 |
21 |
|
11 |
33 |
30 |
|
12 |
38 |
26 |
|
13 |
39 |
38 |
|
14 |
25 |
23 |
|
15 |
28 |
22 |
|
16 |
36 |
22 |
|
17 |
37 |
36 |
|
18 |
32 |
38 |
|
19 |
25 |
25 |
|
Гипотезы:
Н0: улучшенный способ тренинга не позволяет эффективно снижать уровень тревожности у испытуемых.
Н1: улучшенный способ тренинга позволяет эффективно снижать уровень тревожности у испытуемых
Критерий парных выборок |
|
||||||||||||||
|
Парные разности |
t |
ст.св. |
Значимость (2-сторонняя) |
|
||||||||||
Среднее |
Стд. отклонение |
Стд. ошибка среднего |
95% доверительный интервал разности средних |
|
|||||||||||
Нижняя граница |
Верхняя граница |
|
|||||||||||||
Пара 1 |
До - После |
5,842 |
7,418 |
1,702 |
2,267 |
9,418 |
3,433 |
18 |
,003 |
||||||
Вывод: Принимается альтернативная гипотеза, так как р<0,05 = 0,003, это свидетельствует о том что улучшенный способ тренинга позволяет эффективно снижать уровень тревожности испытуемых.
Задание 3
Психолог проводит с младшими школьниками коррекционную работу по формированию навыков внимания, используя для оценки результатов корректурную пробу. Задача состоит в том, чтобы определить будет ли уменьшаться кол-во ошибок внимания школьников после специальных коррекционных упражнений? Для решения этой задачи психолог определяет у 19 детей кол-во ошибок при выполнении корректурной пробы до и после коррекционных упражнений. В таблице приведены экспериментальные данные:
№ испытуемого |
Количество ошибок при выполнении корректурной пробы |
|
|
|
|||
До |
После |
||
1 |
24 |
22 |
|
2 |
12 |
12 |
|
3 |
42 |
41 |
|
4 |
30 |
31 |
|
5 |
40 |
32 |
|
6 |
55 |
44 |
|
7 |
50 |
50 |
|
8 |
52 |
32 |
|
9 |
50 |
32 |
|
10 |
22 |
21 |
|
11 |
33 |
34 |
|
12 |
78 |
56 |
|
13 |
79 |
78 |
|
14 |
25 |
23 |
|
15 |
28 |
22 |
|
16 |
16 |
12 |
|
17 |
17 |
16 |
|
18 |
12 |
18 |
|
19 |
25 |
25 |
|
|
|
|
|
Гипотезы:
Н0: после специальных коррекционных упражнений кол-во ошибок внимания школьников уменьшаться не будет.
Н1: после специальных коррекционных упражнений кол-во ошибок внимания школьников заметно уменьшится.
Критерий парных выборок |
|
|||||||||||||||||||||
|
Парные разности |
t |
ст.св. |
Значимость (2-сторонняя) |
|
|||||||||||||||||
Среднее |
Стд. отклонение |
Стд. ошибка среднего |
95% доверительный интервал разности средних |
|
|
|
|
|||||||||||||||
Нижняя граница |
Верхняя граница |
|
|
|
|
|||||||||||||||||
Пара 1 |
До - После |
4,684 |
7,739 |
1,775 |
,954 |
8,414 |
2,638 |
18 |
,017 |
|||||||||||||
Вывод: Принимается гипотеза Н1,т.к. р<0,05 = 0,17 это означает, что количество ошибок внимания после специальных коррекционных упражнений будет снижаться.
Задание 7
Психолог высказывает предположение о наличие следующей тенденции: время решения задачи теста будет возрастать по мере увеличения их сложности. Для выявления этой тенденции, психолог сравнивает время решения пяти заданий теста у шести испытуемых:
Гипотезы: Н0: время решения задачи теста не будет возрастать по мере увеличения их сложности.
Н1: время решения задачи теста будет возрастать по мере увеличения их сложности.
-
№ испытуемого
Время решения заданий теста в секундах
I
II
III
IV
1
8
3
5
12
2
4
15
12
13
3
6
23
15
20
4
3
6
6
12
5
7
12
3
8
6
15
24
12
7
Критерий Вилкоксона
Ранги |
|
||||||
|
N |
Средний ранг |
Сумма рангов |
|
|||
II - I |
Отрицательные ранги |
1a |
2,50 |
2,50 |
|||
Положительные ранги |
5b |
3,70 |
18,50 |
||||
Связи |
0c |
|
|
||||
Всего |
6 |
|
|
||||
IV - III |
Отрицательные ранги |
1d |
3,00 |
3,00 |
|||
Положительные ранги |
5e |
3,60 |
18,00 |
||||
Связи |
0f |
|
|
||||
Всего |
6 |
|
|
||||
a. II < I b. II > I c. II = I d. IV < III e. IV > III f. IV = III
|
|
||||||
Статистики критерияb |
|
||
|
II - I |
IV - III |
|
Z |
-1,682a |
-1,590a |
|
Асимпт. знч. (двухсторонняя) |
,093 |
,112 |
|
a. Используются отрицательные ранги. b. Критерий знаковых рангов Уилкоксона
|
|
||
Вывод: Принимается нулевая гипотеза, так как р>0,05 = 0,112, а значит
время решения задачи теста не будет возрастать по мере увеличения их сложности.
Задание 10
Две не равные по численности группы испытуемых решали техническую задачу. Показателем успешности служило время решения. Испытуемые меньшей по численности группы получили дополнительную мотивацию в виде денежного вознаграждения. Психолога интересует вопрос – влияет ли вознаграждение на успешность решения задачи? Психологом были получены следующие результаты время решения задачв первой группе – с дополнительной мотивацией: 39,38,44,6,25,25,30,43, во второй группе – без дополнительной мотивации - 46,8,50,45,32,41,41,31,55. Число испытуемых в первой группе обозначается как n1 и равно 8, во второй как n2 и равно 9.
Гипотезы:
Н0: вознаграждение на успешность решения задачи никак не влияет.
Н1: вознаграждение на успешность решения задачи существенно влияет.
Задача решена при помощи критерия Манна-Уитни.
Ранги |
|
||||
|
груповая переменная |
N |
Средний ранг |
Сумма рангов |
|
с и без мотивации |
с мотивацией |
8 |
6,88 |
55,00 |
|
без мотивации |
9 |
10,89 |
98,00 |
||
Всего |
17 |
|
|
||
Статистики критерияb |
|
|
|
с и без мотивации |
|
Статистика U Манна-Уитни |
19,000 |
|
Статистика W Уилкоксона |
55,000 |
|
Z |
-1,638 |
|
Асимпт. знч. (двухсторонняя) |
,101 |
|
Точная знч. [2*(1-сторонняя Знач.)] |
,114a |
|
a. Не скорректировано на наличие связей. b. Группирующая переменная: груповая переменная
|
|
|
Вывод: полученное эмпирическое значение U эмп(19) находится в зоне незначимости, а следовательно принимается нулевая гипотеза о том, что вознаграждение на успешность решения задачи существенно
Задание 12
Четыре группы испытуемых выполняли тест Бурдона в разных экспериментальных условиях. Задача в том, чтобы установить – зависит ли эффективность выполнения теста от условий или, другими словами, есть ли стат. Достоверные различия в успешности выполнения теста между группами. В каждую группу входило четыре испытуемых. Число ошибок показателя переключаемости внимания в процентах дано в таблице.
-
№ испытуемого
I гуппа
II группа
III группа
IV группа
1
23
45
34
21
2
20
12
24
22
3
34
34
25
26
4
35
11
40
27
Суммы
112
102
123
96
Гипотезы: Н0: эффективность выполнения теста от условий не зависит.
Н1: эффективность выполнения теста от условий зависит.
Критерий Краскела-Уоллеса
Статистики критерияa,b |
|
|
|
Данные |
|
Хи-квадрат |
1,220 |
|
ст.св. |
3 |
|
Асимпт. знч. |
,748 |
|
a. Критерий Краскела-Уоллеса b. Группирующая переменная: Групповая переменная
|
|
|
Ранги |
|
|||
|
Групповая переменная |
N |
Средний ранг |
|
Данные |
превая |
4 |
8,75 |
|
вторая |
4 |
7,75 |
||
третья |
4 |
10,50 |
||
четвёртая |
4 |
7,00 |
||
Всего |
16 |
|
||
Вывод: Принимается нулевая гипотеза, так как р>0,05 = 0,748 а из этого следует что статистически достоверных различий в успешности выполнения теста между группами не существует.
Задание 13
Анализируя результаты предыдущей задачи, психолог обратил внимание, что наименьшей суммарной величиной рангов обладает последняя выборка испытуемых. Предположив, что данные этой выборки повлияли на полученный результат, он исключил данные четвёртой группы из расчётов и проверил наличие различий только между первыми тремя группами.
Гипотезы: Н0: данные выборки не повлияли на полученный результат.
Н1: данные выборки повлияли на полученный результат.
№ испытуемого |
I |
II |
III |
1 |
23 |
45 |
34 |
2 |
20 |
12 |
24 |
3 |
34 |
34 |
25 |
4 |
35 |
11 |
40 |
Суммы |
112 |
102 |
123 |
Критерий Краскела-Уоллеса
Статистики критерияa,b |
|
|
|
Данные |
|
Хи-квадрат |
,507 |
|
ст.св. |
2 |
|
Асимпт. знч. |
,776 |
|
|
|
|
Вывод: Принимается нулевая гипотеза, т.к. р>0,05 = 0,776. Из этого следует, что данные четвёртой выборки не повлияли на полученный результат.
Задание 14
Необходимо установить наблюдается ли тенденция к увеличению ошибок при выполнении теста Бурдона разными испытуемыми в зависимости от условий его выполнения?
-
№ испытуемого
I
II
III
IV
1
23
45
34
21
2
20
12
24
22
3
34
34
25
26
4
35
11
40
27
Суммы
112
102
123
96
Критерий Джонкхиера-Терпстраa |
|
|
|
Данные |
|
Число уровней в Групповая переменная |
4 |
|
N |
16 |
|
Наблюденная статистика ДЖОНКХИЕРА-ТЕРПСТРА |
44,500 |
|
Среднее статистики ДЖОНКХИЕРА-ТЕРПСТРА |
48,000 |
|
Стд. отклонение статистики ДЖОНКХИЕРА-ТЕРПСТРА |
10,673 |
|
Нормир. статистика Джонкхиера-Терпстра |
-,328 |
|
Асимпт. знч. (двухсторонняя) |
,743 |
|
a. Группирующая переменная: Групповая переменная
|
|
|
Решение производилось по критерию Джонкира.
Вывод: Принимается нулевая гипотеза, т.к. р>0,05 = 0,743. Это значит, что тенденция к увеличению ошибок при выполнении теста Бурдона испытуемыми в зависимости от его условий выполнения не наблюдается.
Задание 17
Психолог решает задачу: будет ли удовлетворённость работой на данном предприятии распределена равномерно по следующим градациям:
1. Работой вполне доволен;
2. Скорее доволен, чем нет;
3. Трудно сказать;
4. Скорее не доволен, чем доволен;
5.Совершенно не доволен работой.
Полученные эмпирические частоты представлены в таблице:
Гипотезы: Н0: не удовлетворённость работой на данном предприятии.
Н1: удовлетворённость работой на данном предприятии.
Альтернативы |
f эмп |
1 |
8 |
2 |
22 |
3 |
14 |
4 |
9 |
5 |
12 |
Решение проводилось по критерию хи квадрат:
Критерии хи-квадрат |
|
|||
|
Значение |
ст.св. |
Асимпт. значимость (2-стор.) |
|
Хи-квадрат Пирсона |
20,000a |
16 |
,220 |
|
Отношение правдоподобия |
16,094 |
16 |
,446 |
|
Линейно-линейная связь |
,081 |
1 |
,776 |
|
Кол-во валидных наблюдений |
5 |
|
|
|
a. В 25 (100,0%) ячейках ожидаемая частота меньше 5. Минимальная ожидаемая частота равна ,20.
|
|
|||
Вывод: χ2Эмп равно критическому значению или превышает его, расхождения между распределениями статистически достоверны (гипотеза Н1).
Задание 21
Психолог сравнивает два эмпирических распределения, в каждом из которых было обследовано 200 человек по тесту интеллекта. Вопрос: Различаются ли между собой эти два распределении?
Гипотезы: Н0: два распределении между собой не различаются.
Н1: два распределении между собой различаются.
Эмпирические данные представлены в таблице:
Уровни интеллекта |
Частоты |
|
|
f1 |
f2 |
||
60 |
1 |
1 |
|
70 |
5 |
3 |
|
80 |
17 |
7 |
|
90 |
45 |
22 |
|
100 |
70 |
88 |
|
110 |
51 |
69 |
|
120 |
10 |
7 |
|
130 |
1 |
2 |
|
140 |
0 |
1 |
|
Суммы |
200 |
200 |
|
Решение произведено при помощи критерия хи квадрат.