- •Оглавление
- •Введение
- •1.Математические модели искусственных нейронных сетей [9]
- •1.1Общие сведения о структуре биологического нейрона
- •1.2 Математическая модель искусственного нейрона
- •1.3 Математическое описание нейронной сети
- •1.4 Стохастический нейрон
- •1.5 Сравнение характеристик машины фон Неймана и нейронной сети
- •2.Разработка структуры и функций нейроимитатора как элемента интеллектуальной информационной системы
- •2.1 Концепции применения нейросетевых компонентов в информационных системах
- •2.2 Предварительная обработка информации на этапе проектирования нейросетевых компонентов
- •2.3 Формирование задачника для нейросети
- •2.4 Особенности формирования нейронной сети
- •2.5 Интерпретация сигналов нейронной сети
- •2.6Управляющая программа (исполнитель)
- •2.7 Компонент учитель
- •2.8Настройка параметров нейросети.
- •2.9Оценка и коррекция нейросетевой модели
- •2.10 Конструктор нейронной сети
- •2.11 Контрастер нейросети.
- •2.12 Логически прозрачные сети, получение явных знаний
- •2.13 Решение дополнительных задач с помощью нейросетевых компонентов
- •2.14Разработка языка описания нейроимитатора для обмена данными
- •3.Разновидности нейронных сетей [31]
- •3.1Персептрон Розенблатта.
- •3.1.1Персептрон Розенблатта.
- •3.1.2Теорема об обучении персептрона.
- •3.1.3Линейная разделимость и персептронная представляемость
- •3.2Свойства процессов обучения в нейронных сетях.
- •3.2.1Задача обучения нейронной сети на примерах.
- •3.2.2Классификация и категоризация.
- •3.2.3Обучение нейронной сети с учителем, как задача многофакторной оптимизации.
- •3.3Многослойный персептрон.
- •3.3.1Необходимость иерархической организации нейросетевых архитектур.
- •3.3.2Многослойный персептрон.
- •3.3.3Обучение методом обратного распространения ошибок.
- •3.4Другие иерархические архитектуры.
- •3.4.1Звезды Гроссберга
- •3.4.2Принцип Winner Take All (wta) - Победитель Забирает Все - в модели Липпмана-Хемминга.
- •3.4.3Карта самоорганизации Кохонена.
- •3.4.4Нейронная сеть встречного распространения.
- •3.5Модель Хопфилда.
- •3.5.1Сети с обратными связями
- •3.5.2Нейродинамика в модели Хопфилда
- •3.5.3Правило обучения Хебба
- •3.5.4Ассоциативность памяти и задача распознавания образов
- •3.6Обобщения и применения модели Хопфилда.
- •3.6.1Модификации правила Хебба.
- •3.6.2Матрица Хебба с ортогонализацией образов.
- •3.6.3Отказ от симметрии синапсов.
- •3.6.4Алгоритмы разобучения (забывания).
- •3.6.5Двунаправленная ассоциативная память.
- •3.6.6Детерминированная и вероятностная нейродинамика.
- •3.6.7Применения сети Хопфилда к задачам комбинаторной оптимизации.
- •3.7Неокогнитрон Фукушимы.
- •3.7.1Когнитрон: самоорганизующаяся многослойная нейросеть.
- •3.7.2Неокогнитрон и инвариантное распознавание образов.
- •3.8Теория адаптивного резонанса.
- •3.8.1Дилемма стабильности-пластичности восприятия.
- •3.8.2Принцип адаптивного резонанса.
- •3.8.3Нейронная сеть aрt-1.
- •3.8.4Начальное состояние сети.
- •3.8.5Фаза сравнения.
- •3.8.6Фаза поиска.
- •3.8.7Обучение сети арт.
- •3.8.8Теоремы арт.
- •3.8.9Дальнейшее развитие арт: архитектуры арт-2 и арт-3.
- •3.8.10Сети арт-2 и арт-3.
- •3.9Черты современных архитектур.
- •3.9.1Черты современных архитектур.
- •3.9.2Сегодняшний день нейронауки.
- •3.9.3Программное и аппаратное обеспечение. Нейро-эвм.
- •4.Литература и учебно-методические материалы
1.5 Сравнение характеристик машины фон Неймана и нейронной сети
Машина фон Неймана основана на принципе последовательных вычислений и эффективно решает задачи числовой и символьной обработки данных. Однако такие задачи, как распознавание изображений, полученных в разных масштабах и ракурсах, ассоциативный поиск информации по "обрывочным" или искаженным данным, принятие интеллектуальных решений в сложных ситуациях, решаются на последовательных машинах неэффективно. В то же время мозг человека, включающий в себя низкопроизводительные с технической точки зрения вычислительные элементы - нейроны с частотой срабатывания не более нескольких сотен герц, с легкостью справляется с подобными задачами. Например, задача распознавания лица человека решается за доли секунды. Такой результат достигается за счет принципиально иной организации вычислений, основанной на параллельной обработке информации. В табл. 1 приведены сравнительные характеристики машины фон Неймана и биологической нейронной сети [3]. Искусственные нейронные сети в некоторой степени повторяют особенности функционирования биологических нейронных сетей. К их числу следует отнести параллелизм вычислений, поиск информации по содержанию (ассоциации), а не по месту хранения, адаптация к внешним условиям или самообучение, устойчивость работы при возможных отказах отдельных вычислительных элементов или нарушении связей между ними.
Таблица 1
Сравнение машины фон Неймана
с биологической нейронной системой
|
Машина фон Неймана |
Биологическая нейронная система |
Процессор |
Сложный |
Простой |
|
Высокоскоростной |
Низкоскоростной |
|
Один или несколько |
Большое количество |
Память |
Отделена от процессора Локализована
Адресация не по содержанию |
Интегрирована в процессор
Распределенная
Адресация по содержанию |
Вычисления |
Централизованные |
Распределенные |
|
Последовательные |
Параллельные |
|
Хранимые программы |
Самообучение |
Надежность |
Высокая уязвимость |
Робастностъ |
Специализация |
Численные и символьные операции |
Проблемы восприятия |
Среда функционирования |
Строго определенная Строго ограниченная |
Плохо определенная Без ограничений |
Сравнение времени принятия решения человеком в сложной обстановке (около 1с) с тактом срабатывания нейрона (в среднем около 10 мс) дает основание сделать вывод, что мозг "запускает" параллельные программы, содержащие около 100 шагов вычислений. Каждый нейрон срабатывает всего несколько раз и не несет основной информационной нагрузки. Эта нагрузка возложена на связи между нейронами, которые играют роль "памяти" вычислителя, настраивающейся в процессе обучения и функционирования в изменяющейся внешней среде. Именно эта ведущая роль связей между нейронами послужила основанием для введения термина коннекционистская модель применительно к искусственным нейронным сетям.