Режимы обучения
Полный цикл обучения с использованием алгоритма ЕВР состоит в представлении на входы сети всех обучающих примеров из обучающей последовательности. Это называют эпохой. Процесс обучения содержит столько эпох, сколько понадобится для стабилизации синаптических весов смещений, и схождения СКО на всем обучающем множестве к заданному значению. В разных эпохах целесообразно использовать меняющийся случайным образом порядок представления обучающих примеров. Это позволяет сделать поиск в пространстве весов стохастическим. Существует два способа организации алгоритма ЕВР.
Последовательный режим
Последовательный режим (sequential mode) обучения иногда называют стохастическим или итерационным (on–line). В этом режиме корректировка весов производится после подачи на вход каждого примера. Именно этот режим описывается приведенным выше алгоритмом.
Пакетный режим
В пакетном режиме (batch mode) корректировка весов производится после предъявления сети всех обучающих примеров. Для конкретной эпохи функция стоимости определяется как СКО, представленная в форме
,
где N –мощность обучающей выборки. Значении коррекции веса определяется как
.
Таким образом, в пакетном режиме корректировка весов производится только один раз за эпоху.
Последовательный режим требует меньшего объема памяти для каждого синаптического веса и при случайном порядке предъявления образов в каждой эпохе сокращает до минимума возможность остановки алгоритма в точке локального минимума.
Использование пакетного режима обеспечивает точную оценку вектора градиента. Таким образом, сходимость алгоритма к локальному минимуму гарантируется при довольно простых условиях. Помимо этого, в пакетном режиме легче распараллелить вычисления.
Если данные для обучения являются избыточными (redundant), т.е. содержат несколько копий одних и тех же примеров, предпочтительнее использовать последовательный режим.
В заключение можно сказать, что несмотря на недостатки последовательного режима , он остается очень популярным (особенно при решении задач распознавания образов) по двум практическим причинам:
Алгоритм прост в реализации.
Обеспечивает эффективное решение больших и сложных задач.
Критерий останова (для прекращения корректировки весов)
В общем случае не существует доказательства сходимости алгоритма ЕВР, как не существует и четкого критерия его останова. Известно лишь несколько обоснованных критериев, которые можно использовать для прекращения корректировки весов. Чтобы сформулировать такой критерий, логично рассуждать в терминах уникальных свойств локального и глобального минимумов поверхности ошибок.
Вектор
называется локальным минимумом функции
F, если в малой окрестности точки
выполняется
.
Вектор
называется глобальным минимумом функции
F, если
Необходимым условием
минимума в точке
является нулевой вектор градиента
на поверхности ошибок в этой точке.
Разумный критерий сходимости алгоритма
обучения формулируется так:
Считается, что алгоритм ЕВР сошелся, если евклидова норма вектора градиента достигает достаточно малых значений.
Недостатком этого критерия является то, что для сходимости обучения может понадобиться довольно много времени.
Другой критерий сходимости можно сформулировать на основании стабилизации значения функции ошибки в точке .
Критерием сходимости алгоритма ЕВР является достаточно малая интенсивность изменений СКО в течение эпохи.
Интенсивность изменения СКО обычно считается достаточно малой, если он принимает значения (0.1 – 1)% за эпоху. Иногда используют значение 0.01%. К сожалению, этот критерий может привести к преждевременной остановке обучения.
Существует еще один полезный и теоретически подкрепленный критерий сходимости. После каждой итерации обучения сеть тестируется на эффективность обобщения. Процесс обучения останавливается, когда эффективность обобщения становится удовлетворительной или оказывается, что пик эффективности уже пройден.