2Нейронные сети обратного распространения с непрерывной функцией активации: архитектура, алгоритмы обучения, применение.

Сигмоидальные сети

Представленная на рис.1 конфигурация сигмоидальной нейронной сети функционирует следующим образом:

Цель обучения – настройка параметров (весов) сети таким образом, чтобы она реализовывала заданное соответствие между входным и выходным векторами. Для обучения выбирается

множество , состоящее из соответствующих друг другу пар входных

и выходных векторов, на основании такого множества выполняется настройка параметров нейронной сети.

Качество обучения определяется средней ошибкой нейронной сети на всем обучающем множестве

Алгоритм обучения разработан на основе метода обратного распространения ошибки. Он содержит модификации, включающие пакетное обучение (обучение по эпохам) и применение импульса весов связей сети, и состоит в следующем:

случайным образом. Приращения весов связей инициализируются нулевыми значениями. Выбирается значение коэффициента обучения α из диапазона [0.001; 1] и значение коэффициента импульса (определяющего вклад в приращение весов сети результатов предыдущих итераций) β из диапазона [0.1; 0.9]. Задается точность обучения ε.

Для каждой пары векторов из обучающего множества выполняются шаги 2.1-2.2.

2.1. Вектор подается на вход нейронной сети и вычисляются выходы нейронной сети:

2.2. К сумме градиентов весов добавляются частные производные функции ошибки, вычисленные для обучающей пары

При этом принимается y0 = 1

3. Вычисляются новые приращения весов на основе суммы градиентов и предыдущих приращений:

5. Если средняя ошибка нейронной сети (2) достигла приемлемого значения , то вычисления завершаются, иначе выполняется переход к п.2.

В приведенном выше алгоритме t=0,1,… означает номер шага вычислений (эпохи), который соответствует количеству предъявлений обучающего множества для настройки сети.

Соответственно, , например, означает значение веса на t-ом шаге вычислений.

3Конструируемые нейронные сети с конкурирующими нейронами: архитектура, применение.

Вконструируемой сети число и тип нейронов, граф межнейронных связей, веса входов нейронов определяются при создании сети, исходя из решаемой задачи.

Например, при конструировании сети Хопфилда , функционирующей как ассоциативная память, каждая входная последовательность из заранее определенного набора участвует в определении весов входов нейронов сети.

При подаче на входы частичной или ошибочной входной последовательности сеть через какое-то время переходит в одно из устойчивых состояний, предусмотренных при ее конструировании.

При этом на входах сети появляется последовательность, признаваемая сетью как наиболее близкая к изначально поданной.

Многие нейронные сети используют идеи конкуренции между нейронами для усиления контраста в активности нейронов. В большинстве случаем или экстремальных ситуациях, часто называемые «Победитель получает все! Остается лишь один нейрон, имеющий наибольший выходный сигнал. По способу выделения нейрона-победителя конкурирующие сети можно разделить на 2 класса — сети, веса связей которых остаются фиксированными, и сети веса связей которых меняются в ходе итерационного процесса выделения нейрона-победителя.

Сеть Хопфилда

Структурная схема сети Хопфилда приведена на рисунке. Она состоит из единственного слоя нейронов, число которых является одновременно числом входов и выходов сети. Каждый нейрон связан синапсами со всеми остальными нейронами, а также имеет один входной синапс, через который осуществляется ввод сигнала. Выходные сигналы, как обычно, образуются на аксонах.

Задача, решаемая данной сетью в качестве ассоциативной памяти, как правило, формулируется следующим образом. Известен некоторый набор двоичных сигналов, которые считаются образцовыми. Сеть должна уметь из произвольного неидеального сигнала, поданного на ее вход, выделить ("вспомнить" по частичной информации) соответствующий образец (если такой есть) или "дать заключение" о том, что входные данные не соответствуют ни одному из образцов. В общем случае, любой сигнал может быть описан вектором X={xi: i=1...n}, n – число нейронов в сети и размерность входных и выходных векторов. Обозначим вектор, описывающий k-ый образец, через Xk, а его компоненты, соответственно, xik, k=1...m, m – число образцов. Когда сеть распознáет (или "вспомнит") какой-либо образец на основе предъявленных ей данных, ее выходы будут содержать именно его, то есть Y = Xk, где Y – вектор выходных значений сети: Y={yi: i=1,...n}. В противном случае, выходной вектор не совпадет ни с одним образцовым.

Если, например, сигналы представляют собой некие изображения, то, отобразив в графи-ческом виде данные с выхода сети, можно будет увидеть картинку, полностью совпадающую с одной из образцовых (в случае успеха) или же "вольную импровизацию" сети (в случае неудачи).

Обучение нейронной сети Хопфилда, как и сети Хемминга, сводится к инициализации весовых коэффициентов синапсов, которые устанавливаются следующим образом:

Здесь i и j – индексы, соответственно, предсинаптического и постсинаптического нейронов; xik, xjk

– i-ый и j-ый элементы вектора k-ого образца.

Алгоритм функционирования сети следующий (p – номер итерации):

1.На входы сети подается неизвестный сигнал. Фактически его ввод осуществляется непосредственной установкой значений аксонов

2.Рассчитываются новые состояния нейронов

иновые значения аксонов

,где

3.Проверяется, изменились ли выходные значения аксонов за последнюю итерацию. Если да – переход к пункту 2, иначе (если выходы стабилизировались) – конец работы алгоритма. При этом выходной вектор представляет собой образец, наилучшим образом сочетающийся с входными данными.

Иногда сеть не может провести распознавание и выдает на выходе несуществующий образ. Это связано с проблемой ограниченности возможностей сети. Для сети Хопфилда число запоминаемых образов m не должно превышать величины, примерно равной 0.14n.

Сеть Хэмминга

Сеть состоит из двух слоев и представлена на рисунке. Первый и второй слои имеют по m нейронов, где m – количество классов изображений. Нейроны первого слоя имеют по n входов (равное количеству элементов каждого распознаваемого изображения), соединенных со входами сети (образующими фиктивный нулевой слой). Нейроны второго слоя связаны между собой ингибиторными (отрицательными обратными) синаптическими связями. Единственный синапс с положительной обратной связью для каждого нейрона соединен с его же входом (синапсом).

Идея работы сети связана с нахождением расстояния Хэмминга от тестируемого образа до всех образцов. Расстоянием Хэмминга называется число отличающихся битов в двух бинарных векторах. Сеть должна выбрать образец с минимальным расстоянием Хэмминга до неизвестного входного сигнала, в результате чего будет активизирован только один выход сети, соответствующий этому образцу.

На стадии инициализации весовым коэффициентам нейронов первого слоя присваиваются следующие значения:

, i=1...n, k=1...m.

Здесь xik – i-ый элемент k-ого эталонного изображения.

Весовые коэффициенты тормозящих синапсов во втором слое берут равными некоторой величине 0 <e< 1/m. Синапс нейрона, связанный с его же аксоном имеет вес +1.

Алгоритм функционирования сети Хэмминга следующий:

1. На входы сети подается неизвестный вектор X = {xi, i=1...n}, исходя из которого рассчитываются состояния нейронов первого слоя (верхний индекс в скобках указывает номер слоя):

, j=1...m,

выходной сигнал j-го нейрона первого слоя

,активационная функция

Величина порога T выбирается таким образом, чтобы при любых значениях входов X выходной сигнал нейронов первого слоя оставался в интервале [0;1], то есть нейроны не переходили бы в состояние перенасыщения.

После этого полученными значениями инициализируются значения аксонов (входов) нейронов второго слоя:

yj(2) = yj(1), j = 1...m.

2. Вычисляются новые состояния нейронов второго слоя в соответствии с конфигурацией сети:

и значения аксонов

Активационная функция f2(s) имеет вид, аналогичный функции (1), причем значение порога T=1

3. Проверить, изменились ли выходы нейронов второго слоя за последнюю итерацию. Если да – перейти к шагу 2. Иначе – завершение алгоритма.

Из анализа алгоритма видно, что роль первого слоя состоит в сопоставлении тестового изображения с набором эталонных изображений, закодированных в весовых коэффициентах нейронов первого слоя. После такого сопоставления выход нейрона первого слоя, соответствующий эталонному изображению, в наибольшей степени сходному с тестовым, будет наибольшим по сравнению с остальными выходами нейронов