5.9 Нейросетевой селектор максимума

В задачах классификации часто требуется выделить вход, имеющий максимальное значение. Для выпол­нения данной операции могут использоваться НС с латеральным торможением.

Алгоритм селекции максимума, выполняемый сетью, приведен в ниже.

Шаг 1.Сети предъявляются Nвходных ве­личин х₁,х₂,...,x_N, из которых она должна выбрать максимальную, и инициализируются ее выходы, где-выход i-гоузла в момент времени t.

Шаг 2.Производятся итеративные вычисле­ния по правилу

,

где f - кусочно-линейная функция.

Итерации продолжаются до тех пор, пока не будет достигнута сходимость, посте которой поло­жительным остается выход только одного узла сети.

После инициализации выходов сети входными значениями начинаются итерационные вычисления, которые продолжаются до тех пор, пока не будет до­стигнута сходимость, после чего оставшийся поло­жительным выход будет соответствовать макси­мальному входному значению. Если используемая в алгоритме величинаменьше1/N,то данный алгоритм будет сходиться и положи­тельным останется лишь один выход.

5.10 Карта признаков самоорганизации Кохонена

5.10.1 Формирование сети Кохонена

Карта признаков самоорганизации Кохонена (Kohonen Self-organizing Map – КПСК, SOM) является НС с латеральным торможением и относится к классификаторам, для обучения которых используются выборки образов с заранее не заданной классификацией.

Задачей сети является определение принадлежности входного вектора признаков s-го экземпляра выборки х^s ={х^s₁, х^s₂, ..., x^s_N}^T к одному из L возможных кластеров, представленных векторными центрами w_j={w_j1,w_j2,...,w_jN}^T, j=1,2, ..., L , где ^T –символ транспонирования.

Обозначим i-ю компоненту входного вектора x^s в момент времени t как x^s_i (t), а вес i-го входа j-го узла в момент времени t как w_ij(t).

Если узлы КПСК яв­ляются линейными, а вес i-го входа j-го узла равен w_ij, i=1,.2,...,N, j=1,2,...,L, то, очевидно, что при соответст­вующих значениях порогов каждый i-й выход сети с точностью до несущественных постоянных будет ра­вен евклидовому расстоянию d_j между предъявлен­ным входным вектором x^s_i и j-м центром кластера.

Счита­ется, что вектор х^s принадлежит к j-му кластеру, ес­ли расстояние d_j для j-го центра кластера w_j минимально, то есть если d_j ≤ d_k для каждого k≠j.

При обучении НС предъявляют­ся входные векторы без указания желаемых выходов и корректируются веса согласно алгоритму, который предло­жил Теуво Кохонен. Алгоритм Кохонена, формирующий карты признаков, требует, чтобы возле каждого узла было определено поле NE, размер которого с течением времени постоянно уменьшается.

Шаг 1. Инициализируются веса входов узлов малы­ми случайными значениями. Устанавливается начальный размер поля NE.

Шаг 2. Предъявляется новый входной век­тор x^s.

Шаг 3. Вычисляется расстояние (метрика) d_jмежду входным вектором и каждым выходным узлом j:

.

Шаг 4. Определяется узел j* с минимальным расстоянием d_j.

Шаг 5. Корректируются веса входов узлов, находя­щихся в поле NE_j(t) узла j*, таким образом, чтобы новые значения весов были равны

,

При этом корректирующее приращение η(t) (0< η(t)<1) должно убывать с ростом t.

Шаг 6. Если сходимость не достигнута, то перейти к шагу 2.

Сходимость считается достигнутой, если веса стабилизировались и корректирующее приращение η в шаге 5 снизилось до нуля.

Если число входных векто­ров в обучающем множестве велико по отношению к выбранному числу кластеров, то после обучения ве­са сети будут определять центры кластеров, распре­деленные в пространстве входов таким образом, что функция плотности этих центров будет аппроксимировать функцию плотности вероятности входных векторов. Кроме того, веса будут организованы та­ким образом, что топологически близкие узлы будут соответствовать физически близким (в смысле евк­лидова расстояния) входным векторам.

Из выше изложенного следует, что КПСК способны разделять экземпляры по степени близости их признаков. Это позволяет применять КПСК для выделения центров сосредоточения экземпляров, что может быть использовано при планировании обучающего эксперимента, в случае, когда большое количество опытов ставить затруднительно, например, по причине дороговизны или уникальности изделий. Планирование обучающего эксперимента в этом случае может быть проведено следующим образом: на основании значений признаков всех экземпляров обучающей выборки производится формирование КПСК, а затем для экземпляров, которые наиболее близки к сформированным векторным центрам КПСК, проводятся эксперименты по определению фактических классов.