PDF-документов, то обучение без учителя можно применить следующим образом:

zz выделить различные темы в наборе данных; zzсвязать каждый PDF-документ с определенной темой.

Такое использование обучения без учителя показано на рис. 6.4. Это еще один пример структурирования изначально неструктурированных данных.

Рис. 6.4

Обратите внимание, что в этом случае обучение без учителя предполагает, что мы добавляем новый признак с пятью различными уровнями.

АЛГОРИТМЫ КЛАСТЕРИЗАЦИИ

Рассмотрим один из самых простых и мощных методов обучения без учителя. Он заключается в объединении схожих шаблонов в группы с помощью алгорит­ мов кластеризации. Этот метод используется для изучения конкретного аспек­ та данных, связанного с нашей задачей. Алгоритмы кластеризации формируют естественные группы элементов данных. Это происходит независимо от какихлибо целей или предположений, поэтому данный процесс можно классифици­ ровать как метод обучения без учителя.

С помощью кластерных алгоритмов элементы данных в пространстве задачи распределяются по группам на основе их сходства между собой. Выбор наи­ лучшего способа кластеризации зависит от характера задачи. Рассмотрим ме­ тоды, которые можно использовать для вычисления сходства между различны­ ми элементами данных.

Чтобы рассчитать расстояние между A и B, то есть d(A, B), мы можем исполь­ зовать следующую формулу Пифагора:

Обратите внимание, что данный расчет предназначен для двумерного простран­ ства задач. Для n-мерного пространства задач мы можем вычислить расстояние между двумя точками A и B следующим образом:

Манхэттенское расстояние

Часто измерение кратчайшей дистанции между двумя точками с помощью ев­ клидова расстояния не отражает сходства (или близости) между двумя точками. Например, если это две точки на карте, то фактическое расстояние от точки А до точки B при использовании наземного транспорта (автомобиль или такси) будет больше, чем евклидово расстояние. Для подобных ситуаций мы используем манхэттенское расстояние (Manhattan distance), также называемое расстоянием городских кварталов. Оно обозначает самый длинный маршрут между двумя точками. Эта мера расстояния лучше отражает близость двух элементов в качестве точек отправления и назначения, до которых можно добраться в ожив­ ленном городе. Сравнение показателей манхэттенского и евклидова расстояний показано на рис. 6.6.

Обратите внимание, что манхэттенское расстояние всегда будет равно или больше соответствующего евклидова расстояния.

Косинусное расстояние

Рассмотренные выше меры расстояния не предназначены для работы с много­ мерным пространством. В многомерном пространстве задачи более точно от­ ражает близость между двумя точками данных косинусное расстояние (Cosine distance). Чтобы рассчитать косинусное расстояние, нужно измерить угол, об­ разованный двумя точками, соединенными с исходной точкой. Если точки данных расположены близко, то угол будет острым, независимо от их координат. Если же они находятся далеко, то угол будет тупым (рис. 6.7).

Инициализация

Чтобы определить сходство (близость) точек данных и сгруппировать их, алго­ ритм k-средних использует меру расстояния; ее необходимо выбрать перед на­ чалом работы. По умолчанию будет использоваться евклидово расстояние. Кроме того, если в наборе данных есть выбросы (outliers), то необходимо вы­ работать критерии, согласно которым происходит их удаление.

Этапы алгоритма k-средних

Шаги, составляющие алгоритм кластеризации k-средних, представлены в табл. 6.1.

Таблица 6.1

На рис. 6.8 показан результат выполнения алгоритма k-средних в двумерном пространстве задачи.

Обратите внимание, что два результирующих кластера, созданных после вы­ полнения k-средних, в данном случае хорошо различимы.

2

1

Рис. 6.8. а — точки данных до кластеризации; б — результирующие кластеры после выполнения алгоритма кластеризации методом k-средних

Условие остановки

Для алгоритма k-средних условием остановки по умолчанию является то, что на шаге 5 больше не происходит смещения центров кластеров. Но, как и многим другим алгоритмам, алгоритму k-средних может потребоваться много времени для достижения сходимости, особенно при обработке больших наборов данных в многомерном пространстве задачи. Вместо того чтобы ждать, пока алгоритм сойдется, мы можем самостоятельно задать условие остановки следующими способами.

zz Указав максимальное время выполнения:

yy Условие остановки: t > tmax, где t — текущее время выполнения, а tmax — максимальное время выполнения, которое мы установили для алгоритма.

zz Указав максимальное количество итераций:

yy Условие остановки: m > mmax, где m — текущая итерация‚ а mmax — макси­ мальное количество итераций, которое мы установили для алгоритма.

Кодирование алгоритма k-средних

Перейдем к реализации алгоритма k-средних на Python.

1.Прежде всего надо импортировать необходимые библиотеки Python. Для кластеризации методом k-средних импортируем библиотеку sklearn:

from sklearn import cluster import pandas as pd

import numpy as np

2.Чтобы применить алгоритм k-средних, создадим 20 точек данных в дву­ мерном пространстве задачи, которые и будем использовать для класте­ ризации:

3.Сформируем два кластера (k = 2), а затем создадим кластер, вызвав функции fit:

myKmeans = cluster.KMeans(n_clusters=2) myKmeans.fit(dataset)

4.Введем переменную с именем centroid, которая представляет собой массив, содержащий местоположение центра сформированных кластеров. В нашем случае, при k = 2, массив будет иметь размер 2. Затем создадим переменную с именем label, которая обозначает привязку каждой точки данных к одно­ му из двух кластеров. Поскольку имеется 20 точек данных, то и массив будет иметь размер 20:

centroids = myKmeans.cluster_centers_ labels = myKmeans.labels_

5. Теперь выведем эти два массива, centroids и labels (рис. 6.9).

Рис. 6.9

Обратите внимание, что первый массив показывает соответствие кластера каждой точке данных, а второй представляет собой два центра кластера.

6. Визуализируем кластеры с помощью matplotlib (рис. 6.10).