13. Алгоритм обучения персептрона Розенблата.

Однослойная сеть. Обучение с учителем.

1. Всем весам связей присваиваются некоторые случайные малые значения, чтобы сеть вышла из состояния равновесия и чтобы сеть не вошла в состояние насыщения.

2. на входы подается вектор X примера и вычисляется потенциал входного нейрона: , где N - количество компонент вектора.

3. Вычисленные значения выхода каждого нейрона обрабатываются с помощью пороговой функции активации.

4. Для каждого нейрона вычисляется ошибка

5. Модифицируются веса связей (0 не модифицируется)

, где  - коэффициент обучения (0<<1) определяет добавку веса, которая произойдет на определенном шаге. Если общая ошибка сети больше заданной, то шаги 2-5 повторяются.

Недостатками алгоритма являются:

1. для сложных задач требуемое распределение связей может быть не найдено. При этом переходят к многослойной модели (вводят промежуточные слои).

2. Для многослойной сети трудно сформировать желаемое значение нейронов скрытых слоев. Поэтому при обучении многослойной сети переходят к оценке качества нейронной сети.

14. Оценки качества нейронной сети.

Целефая функция (Задача обучения) – это отыскание глобального минимума функции ошибки. Достижение глобального минимума называется сходимостью процесса обучения. Удачный выбор критерия ошибки приводит к получению более гладкой поверхности функции ошибки и упрощает обучение.

Критерии ошибки:

1. Среднеквадратичная ошибка вычисляется по множеству обучающих примеров

где K – количество примеров обучающей выборки, d – желаемый выход для к-го примера; y – вычисленное значение выхода для к-го примера.

2. Модифицированная ошибка

где  - уровень надежности сети.

Для различных способов интерпретации выходных сигналов  может принимать значения: 0  ≤1 – знаковая интерпретация. состояние нейронов определяет номер класса;

1  ≤2 – соревновательное правило или победитель забирает все.

0  ≤ - порядковая интерпретация, в данном случае класс интерпретируется по формуле N! (факториал). N – количество выходных нейронов.

15. Алгоритм обратного распространения ошибки

Данный алгоритм используется для полно связной сети. Суть алгоритма в распространении сигнала ошибки от входов сети последовательно через каждый скрытый слой на входе.W_ij – связь, соединяющая i-ый нейрон предыдущего слоя с j-ым нейроном последующего слоя.

Ошибка распространяется от выхода в сети к входам, т.е. направлении обратном функционированию сети в обычном режиме. Для минимизации ошибки используется функция отвеса

y_j,p - реальное состояние нейрона выходного слоя N при подаче на входы сети примера P

d – желаемый выход нейрона для данного входного примера p.

В процессе обучения выполняется минимизация ошибки E(W) методом градиентного спуска. Настройка весов осуществляется по правилу

(0<<1) (1)

Определяют общую производную функцию:

Для расчета величины вводится рекурсивная формула для расчета через

k – количество нейронов слоя (n+1)

Для выходного слоя можно вычислить

Теперь перепишем формулу (1) в раскрытом виде

Алгоритм состоит из следующих шагов:

1) на входы подается один из возможных примеров из множества P и рассчитываются потенциалы для всех слоев в режиме обычного функционирования сети

у каждого нейрона для получения выходного сигнала используется сигмоидальная функция активации.

2) по формуле (4) вычисляется для выходного слоя.

• по формуле (3) вычисляется ошибка на предыдущем слое через последующий и по формуле (5) величина коррекции веса. Ошибки вычисляются для слов от N-1 до 1, т.е. n=N-1,…..,1

• корректируются все веса связей в нейронной сети

• если общая ошибка E(W) больше заданной, то возвращаемся на шаг 1.