Министерство образования и науки

Российской Федерации

Государственное образовательное учреждение высшего

профессионального образования «Алтайский государственный

технический университет им. И.И. Ползунова»

О.И. Пятковский

Интеллектуальные информационные системы (Нейронные сети)

Учебное пособие

Изд-во АлтГТУ

Барнаул 2010

УДК 658.011.56 (075.5)

Пятковский О.И. Интеллектуальные информационные системы. (Нейронные сети). Учебное пособие / Алт.гос. техн. Ун-т им. И.И. Ползунова. - Барнаул: Изд-во АлтГТУ, 2010.-125с.

Рассмотрены и одобрены

на заседании кафедры

Информационных систем

в экономике

Протокол № от

Оглавление

1. Математические модели искусственных нейронных сетей [9] 6

1.1 Общие сведения о структуре биологического нейрона 6

1.2 Математическая модель искусственного нейрона 10

1.3 Математическое описание нейронной сети 15

1.4 Стохастический нейрон 20

1.5 Сравнение характеристик машины фон Неймана и нейронной сети 22

2. Разработка структуры и функций нейроимитатора как элемента интеллектуальной информационной системы 24

2.1 Концепции применения нейросетевых компонентов в информационных системах 24

2.2 Предварительная обработка информации на этапе проектирования нейросетевых компонентов 28

2.3 Формирование задачника для нейросети 33

2.4 Особенности формирования нейронной сети 38

2.5 Интерпретация сигналов нейронной сети 38

2.6 Управляющая программа (исполнитель) 40

2.7 Компонент учитель 40

2.8 Настройка параметров нейросети. 41

где 43

2.9 Оценка и коррекция нейросетевой модели 45

2.10 Конструктор нейронной сети 46

2.11 Контрастер нейросети. 49

2.12 Логически прозрачные сети, получение явных знаний 50

2.13 Решение дополнительных задач с помощью нейросетевых компонентов 50

2.14 Разработка языка описания нейроимитатора для обмена данными 53

3. Разновидности нейронных сетей [31] 58

3.1 ПЕРСЕПТРОН Розенблатта. 58

3.1.1 ПЕРСЕПТРОН Розенблатта. 58

3.1.2 Теорема об обучении персептрона. 60

3.1.3 Линейная разделимость и персептронная представляемость 61

3.2 Свойства процессов обучения в нейронных сетях. 64

3.2.1 Задача обучения нейронной сети на примерах. 64

3.2.2 Классификация и категоризация. 66

3.2.3 Обучение нейронной сети с учителем, как задача много­факторной оптимизации. 68

3.3 Многослойный ПЕРСЕПТРОН. 71

3.3.1 Необходимость иерархической организации нейросетевых архитектур. 71

3.3.2 Многослойный ПЕРСЕПТРОН. 72

3.3.3 Обучение методом обратного распространения ошибок. 73

3.4 Другие иерархические архитектуры. 77

3.4.1 Звезды Гроссберга 78

3.4.2 Принцип Winner Take All (WTA) - Победитель Забирает Все - в модели Липпмана-Хемминга. 79

3.4.3 Карта самоорганизации Кохонена. 81

3.4.4 Нейронная сеть встречного распространения. 83

3.5 Модель Хопфилда. 84

3.5.1 Сети с обратными связями 85

3.5.2 Нейродинамика в модели Хопфилда 86

3.5.3 Правило обучения Хебба 88

3.5.4 Ассоциативность памяти и задача распознавания образов 90

3.6 Обобщения и применения модели Хопфилда. 93

3.6.1 Модификации правила Хебба. 93

3.6.2 Матрица Хебба с ортогонализацией образов. 93

3.6.3 Отказ от симметрии синапсов. 94

3.6.4 Алгоритмы разобучения (забывания). 94

3.6.5 Двунаправленная ассоциативная память. 95

3.6.6 Детерминированная и вероятностная нейродинамика. 96

3.6.7 Применения сети Хопфилда к задачам комбинаторной оптимизации. 98

3.7 НЕОКОГНИТРОН Фукушимы. 102

3.7.1 КОГНИТРОН: самоорганизующаяся многослойная нейросеть. 103

3.7.2 НЕОКОГНИТРОН и инвариантное распознавание образов. 106

3.8 Теория адаптивного резонанса. 109

3.8.1 Дилемма стабильности-пластичности восприятия. 109

3.8.2 Принцип адаптивного резонанса. 110

3.8.3 Нейронная сеть AРT-1. 111

3.8.4 Начальное состояние сети. 114

3.8.5 Фаза сравнения. 114

3.8.6 Фаза поиска. 114

3.8.7 Обучение сети АРТ. 115

3.8.8 Теоремы АРТ. 117

3.8.9 Дальнейшее развитие АРТ: архитектуры АРТ-2 и АРТ-3. 117

3.8.10 Сети АРТ-2 и АРТ-3. 118

3.9 Черты современных архитектур. 119

3.9.1 Черты современных архитектур. 119

3.9.2 Сегодняшний день нейронауки. 120

3.9.3 Программное и аппаратное обеспечение. Нейро-ЭВМ. 122

4. Литература и учебно-методические материалы 124