5.5.2 Обучение сети Хопфилда распознаванию образов

Одной из задач, решаемых с помощью НС, является задача распознавания образов. Сеть из N нейронов может восстанавливать образы размера N, запомненные в сети, по ключу, т. е. по неполной или неточной информации об этих образах. Это позволяет создавать на основе НС блоки ассоциативной памяти в вычислительных системах. Эталонные образы кодируются словами длины N, состоящими из 1 и -1. Переход нейрона из состояния 1 в -1 (и наоборот) будем считать ступенчатым.

Работу НС, содержащей нейроны, состояние которых определяется действием внешних стимулов, и эффекторы, выходы которых являются реакцией на стимул, можно рассматривать как пофрагментную классификацию действующих стимулов. Множество предсинаптических потенциалов, соответствующее позитивной реакции нейронаx_i(t) = 1, cоздает компактную область вокруг вектораw_ij.

Эта область не пустая лишь при выполнении условия:

.

Комбинируя значения весовых коэффициентовw_ijи порогов θ_iможно создавать НС, способные к классификации образов без каких-либо ограничений. Нахождение значений величинw_ij и θ_i(t), которые обеспечивают необходимые реакции на заданном множестве стимулов, составляет задачу обучения НС.

Ассоциирование (или распознавание) образа достигается сетью путем эволюции из начального состояния, соответствующему введенному образу, в конечное состояние, которым является ассоциация образа с запомненным ранее образом. Основная задача построения сети состоит в наделении ее распознающими свойствами, проявляющимися в том, что при подаче на вход сети возмущенной версии образа, сеть на выходе способна восстанавливать оригинал из шума. То есть, имея М образов-эталонов необходимо найти такую матрицу связейw, которая заставляла бы сеть проявлять распознающие свойства относительно этих эталонов. Нахождение такой матрицы составляет процесс обучения НС, а правило вычисления матрицыwявляется обучающим правилом. Продуктивность НС определяется количеством эталонов М, которые могут быть запомнены и распознаны сетью, состоящей из N нейронов, и тем, насколько хорошо происходит распознавание, то есть отделение эталонов от шума при данном количестве эталонов М.

Заметным шагом на пути к увеличению продуктивности псевдоинверсных НС было предложение Хопфилда рассматривать их с энергетической точки зрения. Процесс распознавания можно представить как "сдвиг" сети в минимумы некоторой энергетической функции Е в пространстве состояний. Предложенное Хопфилдом определение этой функции имеет вид:

E(t) = - 0,5x^T(t)(wx(t)-θ(t)),

где x(t) - вектор состояния системы,^T– знак транспонирования, θ(t) - внешнее поле, определяющее порог чувствительности,w- оператор, учитывающий расстояние между состояниями системы.

Проекционный алгоритм обучения (псевдоинверсный алгоритм) НС Хопфилда заключается в том, что мы осуществляем проекцию обучающего множества на множество весов НС, что позволяет обучать сеть один раз перед использованием, и не требует выполнения итеративного процесса коррекции весов, как, например, в алгоритмах обучения персептронов.

Пусть имеется М эталонных образовx_k, k = 1, ..., М. Положив θ_i=0, i=1,...,N,можем записать выражение для нахождения весов сети:

.

Начиная работу в состоянииx₀, сеть может попасть в одно из следующих трех положений:

- прийти в устойчивое состояние, соответствующее эталонному образу, кото­рый по хэмминговому расстоянию (по числу компонентов, в которых разли­чаются два вектора) является наиболее близким к x₀;

- прийти в устойчивое состояние, не соответствующее никакому эталону, т. е. к ложному образу;

- оказаться вовлеченной в колебательный процесс.

Результаты моделирования сети показывают, что сеть работает хорошо, т. е. без ошибок восстанавливает эталонные образы из случайных, если в нее записывается не более, чем 0,15N эталонных обра­зов.

Для большинства задач возможности одноразового внесения информации в ассоциативную память оказывается недостаточно, т.к. требуется в процессе работы добавлять в память новую информацию - проекционный алгоритм (см. выше) оказывается непригодным. Для решения таких задач используют итеративный проекционный алгоритм обучения.

Пусть мы имеем обученную для M наборов значений НС Хопфилда, тогда для внесения в память M+1 набора значений, значения весов можно установить:

, где.

Для упрощения вычислительной процедуры предложены и другие правила установки весов, среди которых особо следует выделить:

.