- •В. Г. Потемкин
- •Предисловие
- •Введение
- •Используемые обозначения
- •Часть 1. Ппп Neural Network Toolbox
- •1. Система matlab 6
- •1.1. Операционная среда matlab 6
- •Командное окно
- •Окно предыстории
- •Окно запуска
- •Окно текущего каталога
- •Окно рабочей области
- •Справочная подсистема
- •1.3. Демонстрационные примеры ппп nnt
- •2. Модель нейрона и архитектура сети
- •2.1. Модель нейрона
- •2.1.1. Простой нейрон
- •2.1.2. Функция активации
- •2.1.3. Нейрон с векторным входом
- •2.2. Архитектура нейронных сетей
- •2.2.1. Однослойные сети
- •2.2.2. Многослойные сети
- •2.2.3. Сети с прямой передачей сигнала
- •2.3. Создание, инициализация и моделирование сети Формирование архитектуры сети
- •Инициализация сети
- •Моделирование сети
- •3. Обучение нейронных сетей
- •3.1. Процедуры адаптации и обучения
- •Явление переобучения
- •Свойство обобщения
- •3.1.1. Способы адаптации и обучения
- •Адаптация нейронных сетей
- •Xlabel(''), ylabel('Выходыa(I)'),grid
- •Xlabel(''), ylabel('Весавходовw(I)'),grid
- •Xlabel(' Циклы'), ylabel('Ошибка'),grid
- •Xlabel(''), ylabel('Выходыa(I)'),grid
- •Xlabel(''), ylabel('Весавходовw(I)'),grid
- •Xlabel('Циклы'), ylabel('Ошибка'),grid
- •Xlabel(''), ylabel('Выходыa(I)'),grid
- •Xlabel(''), ylabel('Весавходовw(I)'),grid
- •Xlabel('Циклы'), ylabel('Ошибка'),grid
- •Обучение нейронных сетей
- •3.2. Методы обучения
- •3.2.1. Обучение однослойной сети
- •3.2.2. Обучение многослойной сети
- •Метод обратного распространения ошибки
- •Характеристика методов обучения
- •3.3. Алгоритмы обучения
- •3.3.1. Градиентные алгоритмы обучения Алгоритм gd
- •Алгоритм gdm
- •Алгоритм gda
- •Алгоритм Rprop
- •3.3.2. Алгоритмы метода сопряженных градиентов
- •Алгоритм cgf
- •Алгоритм cgp
- •Алгоритм cgb
- •Алгоритм scg
- •3.3.3. Квазиньютоновы алгоритмы Алгоритм bfgs
- •Алгоритм oss
- •Алгоритм lm
- •3.3.4. Алгоритмы одномерного поиска
- •Алгоритм gol
- •Алгоритм bre
- •Алгоритм hyb
- •Алгоритм cha
- •Алгоритм bac
- •3.3.5. Расширение возможностей процедур обучения
- •Переобучение
- •Метод регуляризации
- •Формирование представительной выборки
- •Предварительная обработка и восстановление данных
- •Пример процедуры обучения
- •4. Персептроны
- •4.1. Архитектура персептрона
- •4.2. Модель персептрона
- •Моделирование персептрона
- •Инициализация параметров
- •4.3. Процедуры настройки параметров
- •Правила настройки
- •Процедура адаптации
- •5. Линейные сети
- •5.1. Архитектура линейной сети
- •5.2. Создание модели линейной сети
- •5.3. Обучение линейной сети
- •Процедура настройки
- •Процедура обучения
- •5.4. Применение линейных сетей Задача классификации векторов
- •Фильтрация сигнала
- •Предсказание сигнала
- •Подавление шумов
- •Многомерные цифровые фильтры
- •6. Радиальные базисные сети
- •Модель нейрона и архитектура сети
- •Создание сети
- •Радиальная базисная сеть с нулевой ошибкой
- •Итерационная процедура формирования сети
- •Примеры радиальных базисных сетей
- •6.1. Сети grnn
- •Архитектура сети
- •Синтез сети
- •6.2. Сети pnn
- •Архитектура сети
- •Синтез сети
- •7. Сети кластеризации и классификации данных
- •7.1. Самоорганизующиеся нейронные сети
- •7.1.1. Слой Кохонена
- •Архитектура сети
- •Создание сети
- •Правило обучения слоя Кохонена
- •Правило настройки смещений
- •Обучение сети
- •7.1.2. Карта Кохонена
- •Топология карты
- •Функции для расчета расстояний
- •Архитектура сети
- •Создание сети
- •Обучение сети
- •Одномерная карта Кохонена
- •Двумерная карта Кохонена
- •Архитектура сети
- •Создание сети
- •Обучение сети Правила настройки параметров
- •Процедура обучения
- •8. Рекуррентные сети
- •8.1. Сети Элмана
- •Архитектура
- •Создание сети
- •Обучение сети
- •Проверка сети
- •8.2. Сети Хопфилда
- •Архитектура сети
- •Синтез сети
- •9. Применение нейронных сетей
- •9.1. Аппроксимация и фильтрация сигналов
- •9.1.1. Предсказание стационарного сигнала Постановка задачи
- •Синтез сети
- •Проверка сети
- •9.1.2. Слежение за нестационарным сигналом
- •Инициализация сети
- •Проверка сети
- •9.1.3. Моделирование стационарного фильтра
- •Постановка задачи
- •Синтез сети
- •Проверка сети
- •9.1.4. Моделирование нестационарного фильтра
- •Постановка задачи
- •Инициализация сети
- •Проверка сети
- •9.2. Распознавание образов
- •Постановка задачи
- •Нейронная сеть
- •Архитектура сети
- •Инициализация сети
- •Обучение
- •Обучение в отсутствие шума
- •Обучение в присутствии шума
- •Повторное обучение в отсутствие шума
- •Эффективность функционирования системы
- •9.3. Нейронные сети и системы управления
- •9.3.1. Регулятор с предсказанием
- •9.3.2. Регулятор narma-l2
- •9.3.3. Регулятор на основе эталонной модели
- •Часть2. Операторы, функции и команды
- •10. Вычислительная модель нейронной сети
- •10.1. Описание сети Описание архитектуры
- •Функции инициализации, адаптации и обучения
- •10.2. Описание элементов сети
- •Описание входов
- •Описание слоев
- •Описание выходов
- •Описание целей
- •Описание смещений
- •Описание весов входа
- •Описание весов слоя
- •Матрицы весов и векторы смещений
- •Информационные поля
- •11. Формирование моделей нейронных сетей
- •11.1. Модели сетей
- •11.1.1. Однослойные сети Персептрон
- •Линейные сети
- •11.1.2. Многослойные сети
- •Радиальные базисные сети
- •Самоорганизующиеся сети
- •Сети – классификаторы входных векторов
- •Рекуррентные сети
- •11.2. Функции активации
- •Персептрон
- •Линейные сети
- •Радиальные базисные сети
- •Самоорганизующиеся сети
- •Рекуррентные сети
- •11.3. Синаптические функции
- •Функции взвешивания и расстояний
- •Функции накопления
- •11.4. Функции инициализации
- •11.5. Функции адаптации и обучения Функции адаптации
- •Функции обучения
- •Градиентные алгоритмы обучения
- •Алгоритмы метода сопряженных градиентов
- •Квазиньютоновы алгоритмы обучения
- •11.5.1. Функции оценки качества обучения
- •11.6. Функции настройки параметров
- •11.6.1. Функции одномерного поиска
- •11.7. Масштабирование и восстановление данных
- •11.8. Вспомогательные функции
- •Утилиты вычислений
- •Операции с массивами данных
- •Графические утилиты
- •Информация о сети и ее топологии
- •11.9. Моделирование нейронных сетей и система Simulink Функции моделирования сети
- •11.9.1. Применение системы Simulink
- •Библиотеки блоков для моделирования нейронных сетей
- •Построение моделей нейронных сетей
- •Индексный указатель Команды, функции и операторы ппп Neural Network Toolbox
- •Предметный указатель
- •Литература Книги на английском языке:
- •Книги на русском языке:
- •Оглавление
Книги на русском языке:
Беркинблит М.Б. Нейронные сети. М.: МИРОС, 1993.
Уоссерман Ф. Нейрокомпьютерная техника. М.: Мир, 1992.
Мишулина О.А., Лабинская А.А., Щербинина М.В. Лабораторный практикум по курсу "Введение в теорию нейронных сетей". М.: МИФИ, 2000. 204 с.
Омату С., Халид М., Юсоф Р. Нейроуправление и его приложения. М.: ИПРЖРБ, 2000. 272 с.
Тихонов А. Н. О решении некорректно поставленных задач и методе регуляризации// Доклады АН СССР. Т.151, №3. 1963.
Лазарев Ю.Ф. MatLAB 5.x. Киев: Издат. группа BHV, 2000. 384 с.
Гультяев А.К. Визуальное моделирование в среде MATLAB: Учеб. курс. СПб: Питер, 2000. 432 с.
Потемкин В.Г. Инструментальные средства MATLAB 5.х. М.: Диалог-МИФИ, 2000. 336 с.
Медведев В. С., Потемкин В. Г. Control System Toolbox. MATLAB 5 для студентов. /Под общ. ред. В.Г. Потемкина. М.:Диалог-МИФИ, 1999. 287 с. (Пакеты прикладных программ; Кн. 1).
Рудаков П.И., Сафонов И.В. Обработка сигналов и изображений. MATLAB 5.x /Под общ. ред. В.Г. Потемкина. М.:Диалог-МИФИ, 1999. 287 с. (Пакеты прикладных программ; Кн. 2).
Лавров К.Н., Цыплякова Т.П. Финансовая аналитика. MATLAB 6 /Под общ. ред. В.Г. Потемкина. М.: Диалог-МИФИ, 2001. 363 с. (Пакеты прикладных программ; Кн. 3).
Галушкин А.И. Теория нейронных сетей. М.: ИПРЖР, 2000. 416 с.
Галушкин А.И. Нейрокомпьютеры. М.: ИПРЖР, 2000. 532 с.
Оглавление
ПРЕДИСЛОВИЕ 3
Введение 5
Часть 1. ППП Neural Network Toolbox 9
1. Система MATLAB 6 9
1.1. Операционная среда MATLAB 6 9
1.2. GUI-интерфейс для ППП NNT 19
1.3. Демонстрационные примеры ППП NNT 34
2. МОДЕЛЬ НЕЙРОНА И АРХИТЕКТУРА СЕТИ 33
2.1. Модель нейрона 33
2.1.1. Простой нейрон 33
2.1.2. Функция активации 34
2.1.3. Нейрон с векторным входом 35
2.2. Архитектура нейронных сетей 37
2.2.1. Однослойные сети 37
2.2.2. Многослойные сети 38
2.2.3. Сети с прямой передачей сигнала 41
2.3. Создание, инициализация и моделирование сети 42
3. Обучение нейронных сетей 47
3.1. Процедуры адаптации и обучения 47
3.1.1. Способы адаптации и обучения 52
3.2. Методы обучения 62
3.2.1. Обучение однослойной сети 62
3.2.2. Обучение многослойной сети 64
3.3. Алгоритмы обучения 68
3.3.1. Градиентные алгоритмы обучения 68
3.3.2. Алгоритмы метода сопряженных градиентов 77
3.3.3. Квазиньютоновы алгоритмы 84
3.3.4. Алгоритмы одномерного поиска 89
3.3.5. Расширение возможностей процедур обучения 91
4. Персептроны 102
4.1. Архитектура персептрона 103
4.2. Модель персептрона 105
4.3. Процедуры настройки параметров 108
5. Линейные сети 115
5.1. Архитектура линейной сети 116
5.2. Создание модели линейной сети 118
5.3. Обучение линейной сети 118
5.4. Применение линейных сетей 124
6. Радиальные базисные сети 131
6.1. Сети GRNN 141
6.2. Сети PNN 145
7. Сети кластеризации и классификации данных 147
7.1. Самоорганизующиеся нейронные сети 147
7.1.1. Слой Кохонена 148
7.1.2. Карта Кохонена 156
7.2. LVQ-сети 170
8. Рекуррентные сети 175
8.1. Сети Элмана 175
8.2. Сети Хопфилда 181
9. Применение нейронных сетей 188
9.1. Аппроксимация и фильтрация сигналов 188
9.1.1. Предсказание стационарного сигнала 188
9.1.2. Слежение за нестационарным сигналом 192
9.1.3. Моделирование стационарного фильтра 195
9.1.4. Моделирование нестационарного фильтра 198
9.2. Распознавание образов 200
9.3. Нейронные сети и системы управления 208
9.3.1. Регулятор с предсказанием 210
9.3.2. Регулятор NARMA-L2 219
9.3.3. Регулятор на основе эталонной модели 225
Часть 2. Операторы, функции и команды 228
10. Вычислительная модель нейронной сети 228
10.1. Описание сети 228
10.2. Описание элементов сети 232
11. Формирование моделей нейронных сетей 245
11.1. Модели сетей 245
11.1.1. Однослойные сети 248
11.1.2. Многослойные сети 255
11.2. Функции активации 283
11.3. Синаптические функции 301
11.4. Функции инициализации 314
11.5. Функции адаптации и обучения 324
11.5.1. Функции оценки качества обучения 382
11.6. Функции настройки параметров 389
11.6.1. Функции одномерного поиска 410
11.7. Масштабирование и восстановление данных 418
11.8. Вспомогательные функции 428
11.9. Моделирование нейронных сетей и система Simulink 469
11.9.1. Применение системы Simulink 473
Индексный указатель 217
Предметный указатель 224
Литература 227
Оглавление 231
1 Сигмоидальной (S-образной) функцией называется непрерывная функция, имеющая две горизонтальные асимптоты и одну точку перегиба.