neuro_lab1
.pdf
Рис.19 – График ошибок работы обученной сети network3
На рис. 20 представлен график выходных значений сети. Из рисунка видно, что выходные значения находятся в пределах от 0,945 до 0,99.
Рис. 20 – График выходных значений обученной сети network3
На рис. 21 представлен график целевых значений выходов сети. Из рисунка видно, что выходные значения находятся в пределах от 0,94 до 1.
Рис. 21 – График целевых значений
11
Таким образом, можно сделать вывод, что ИНС network3, в отличие от network1, требуется на обучение больше времени, однако с увеличением номера эпохи у нее происходит плавное уменьшение среднеквадратичной ошибки и ошибка не становится постоянной.
В целом, можно сказать, что обученная сеть network3 недостаточно точно аппроксимирует целевые значения, поскольку критерием завершения обучения послужило завершение всех эпох – нейросеть так и не достигла нужного порога ошибки. Помимо этого, визуально ощутимо различие графиков выходных значений сети и целевых значений.
Для сети с алгоритмом Левенберга-Марквардта в качестве функции обучения:
Рис. 22 – Параметры обучения трехслойной сети network4 с алгоритмом Левенберга-Марквардта
Из рис. 22 видно, что обучение остановилось по достижению числа ошибок валидационных данных равного 6. На обучение сети потребовалось 26 эпох, что говорит о более высокой эффективности алгоритма Левенберга-Марквардта, чем у алгоритма градиентного спуска сети network3.
Рис. 23 – Итоги обучения network4
На рис. 24 представлен график зависимости среднеквадратичной ошибки от номера
12
эпохи. Из рисунка видно, что значение ошибки обучения (синяя кривая) уменьшается с увеличением номера эпохи, при этом чем больше номер эпохи, тем медленнее уменьшается ошибка. Значение валидационной обшибки (зеленая кривая) сначала уменьшается, затем с некоторого момента возрастает, что говорит о переобучении сети. Значение ошибки на тестовых (красная кривая) данных сначала уменьшается, затем увеличивается.
Рис. 24 – График ошибки обучения network4
На рис. 25 представлены графики зависимости градиента ошибки обучения и параметра регуляризации от номера эпохи. Из рисунка видно, что в процессе обучения сети значения градиента и параметра регуляризации в целом неравномерно уменьшались, величина ошибки сначала оставалась постоянной с возрастанием на отдельных промежутках обучения, начиная с 21 эпохи, линейно увеличивалась.
Рис. 25 – График градиента ошибки обучения network4
Проверим работу обученной сети. Для этого загрузим новые входные и целевые выходные данные для сети, затем осуществим моделирование ее работы. На рис. 26 представлен график ошибки работы сети. Из рисунка видно, что величина ошибки не выходит за границы от -0,02 до 0,015.
13
Рис. 26 – График ошибок работы обученной сети network4
На рис. 27 представлен график выходных значений сети. Из рисунка видно, что выходные значения находятся в пределах от 0,94 до 1.
Рис. 27 – График ошибок работы обученной сети network4
На рис. 28 представлен график целевых значений выходов сети. Из рисунка видно, что выходные значения находятся в пределах от 0,94 до 1.
14
Рис. 28 – График целевых значений
Выходное значение сети изменяется в тех же пределах, что и целевое значение, кроме того, видно, что полученная зависимость довольно точно аппроксимирует нижнюю часть графика.
Таким образом, можно сделать вывод, что ИНС network4, в отличие от network3, обучается за меньшее время, однако для нее характерно переобучение. Сравнивая network4 с network2, можем увидеть, что network2 требуется меньшее число эпох для обучения.
Подводя итоги лабораторной работы, можно сказать, что для оценки надежности системы следует использовать ИНС network3, так как несмотря на более долгое обучение, в отличие от других рассмотренных сетей, для нее характерно отсутствие переобучения, а среднеквадратичные ошибка обучения, валидационная ошибка и ошибка на тестовых данных уменьшаются на протяжении всего обучения.
15