Нижегородский Государственный Технический
Университет
Им. Р.Е. Алексеева
Кафедра «Компьютерные технологии в проектировании и производстве»
Представление знаний в информационных системах
Лабораторная работа №4
«Ознакомление c моделями нейросетей прямого распространения, алгоритмами и методами обучения. Получение навыков моделирования на основе нейронной сети Wizard_1.7»
Выполнил: Болдырева О.А. Группа 08-ИСТ
Проверил: Волков М. Б.
Н.Новгород
2010г.
Цель работы:
Ознакомиться c моделями нейросетей прямого распространения, алгоритмами и методами обучения. Получить навыки моделирования на основе нейронной сети Wizard_1.7.
Задание 1
Исследовать зависимость качества обучения НС (величины максимальной ошибки обучения при фиксированном количестве эпох) от параметров обучения:
скорости обучения (интервал изменения от 0.001 до 100). При анализе зафиксировать процессы
устойчивого обучения (ошибка уменьшается монотонно),
быстрого обучения (ошибка уменьшается существенно быстрее, чем в предыдущем режиме),
режим осцилляций (колебания ошибки),
режим возрастания ошибки;
момента (интервал изменения – порядка 30%);
крутизны сигмоиды ( в пределах всей шкалы).
НС должна находится при этом в режиме первоначального обучения (а не дообучения). Для этого процесс обучения надо каждый раз начинать заново, а именно: необходимо закрыть пакет без сохранения результатов предыдущего обучения и вновь его открыть для анализа следующей зависимости. Количество эпох при каждом исследовании должно оставаться одним и тем же, например – 10000.
Конфигурация нейросети
Параметр сигмоиды:1.5
Число входов:2
Количество скрытых слоев:1
Слой 1 - число нейронов:10
Число выходов:1
Для обучения используется:75% записей
Скорость обучения:0.1
Момент: 0.9
Критерии остановки обучения
прошло 10000 эпох
-Скорость обучения:
0.001
|
Обучение |
Тестирование |
средняя ошибка |
0.0010436 |
0.0007243 |
Макс.ошибка |
0,0047219 |
0,0011435 |
распознано |
100 |
100 |
0.005
|
Обучение |
Тестирование |
средняя ошибка |
0,0006188 |
0,0003056 |
Макс.ошибка |
0,0030925 |
0,0012444 |
распознано |
100 |
100 |
0.3
|
Обучение |
Тестирование |
средняя ошибка |
1,87-5 |
3,99-5 |
Макс.ошибка |
0,0001538 |
0,0001583 |
распознано |
100 |
100 |
0.7
|
Обучение |
Тестирование |
средняя ошибка |
1,81-5 |
2,16-5 |
Макс.ошибка |
7,73-5 |
5,986-5 |
распознано |
100 |
100 |
1,5
|
Обучение |
Тестирование |
средняя ошибка |
4,62-6 |
2,86-6 |
Макс.ошибка |
1,60-5 |
8,14-6 |
распознано |
100 |
100 |
5
|
Обучение |
Тестирование |
средняя ошибка |
0,19075 |
0,21042 |
Макс.ошибка |
0,5 |
0,5 |
распознано |
33 |
17 |
10
|
Обучение |
Тестирование |
средняя ошибка |
0,14038 |
0,19479 |
Макс.ошибка |
0,45125 |
0,45125 |
распознано |
47 |
33 |
20
|
Обучение |
Тестирование |
средняя ошибка |
0,18039 |
0,1145 |
Макс.ошибка |
0,5 |
0,405 |
распознано |
38 |
60 |
50
|
Обучение |
Тестирование |
средняя ошибка |
0,1865 |
0,19729 |
Макс.ошибка |
0,5 |
0,45125 |
распознано |
40 |
33 |
75
|
Обучение |
Тестирование |
средняя ошибка |
0,2255 |
0,20854 |
Макс.ошибка |
0,5 |
0,36125 |
распознано |
20 |
17 |
100
|
Обучение |
Тестирование |
средняя ошибка |
0,24067 |
0,19354 |
Макс.ошибка |
0,5 |
0,45125 |
распознано |
20 |
33 |
-Момент
0.1
|
Обучение |
Тестирование |
средняя ошибка |
0,0002102 |
0,0001718 |
Макс.ошибка |
0,0017434 |
0,0008214 |
распознано |
100 |
100 |
0.3
|
Обучение |
Тестирование |
средняя ошибка |
0,0001974 |
6,22-5 |
Макс.ошибка |
0,0010118 |
0,0001433 |
распознано |
100 |
100 |
0.9
|
Обучение |
Тестирование |
средняя ошибка |
4,74-5 |
5,69-5 |
Макс.ошибка |
0,0003342 |
0,0002291 |
распознано |
100 |
100 |