- •Оглавление
- •Введение
- •1.Математические модели искусственных нейронных сетей [9]
- •1.1Общие сведения о структуре биологического нейрона
- •1.2 Математическая модель искусственного нейрона
- •1.3 Математическое описание нейронной сети
- •1.4 Стохастический нейрон
- •1.5 Сравнение характеристик машины фон Неймана и нейронной сети
- •2.Разработка структуры и функций нейроимитатора как элемента интеллектуальной информационной системы
- •2.1 Концепции применения нейросетевых компонентов в информационных системах
- •2.2 Предварительная обработка информации на этапе проектирования нейросетевых компонентов
- •2.3 Формирование задачника для нейросети
- •2.4 Особенности формирования нейронной сети
- •2.5 Интерпретация сигналов нейронной сети
- •2.6Управляющая программа (исполнитель)
- •2.7 Компонент учитель
- •2.8Настройка параметров нейросети.
- •2.9Оценка и коррекция нейросетевой модели
- •2.10 Конструктор нейронной сети
- •2.11 Контрастер нейросети.
- •2.12 Логически прозрачные сети, получение явных знаний
- •2.13 Решение дополнительных задач с помощью нейросетевых компонентов
- •2.14Разработка языка описания нейроимитатора для обмена данными
- •3.Разновидности нейронных сетей [31]
- •3.1Персептрон Розенблатта.
- •3.1.1Персептрон Розенблатта.
- •3.1.2Теорема об обучении персептрона.
- •3.1.3Линейная разделимость и персептронная представляемость
- •3.2Свойства процессов обучения в нейронных сетях.
- •3.2.1Задача обучения нейронной сети на примерах.
- •3.2.2Классификация и категоризация.
- •3.2.3Обучение нейронной сети с учителем, как задача многофакторной оптимизации.
- •3.3Многослойный персептрон.
- •3.3.1Необходимость иерархической организации нейросетевых архитектур.
- •3.3.2Многослойный персептрон.
- •3.3.3Обучение методом обратного распространения ошибок.
- •3.4Другие иерархические архитектуры.
- •3.4.1Звезды Гроссберга
- •3.4.2Принцип Winner Take All (wta) - Победитель Забирает Все - в модели Липпмана-Хемминга.
- •3.4.3Карта самоорганизации Кохонена.
- •3.4.4Нейронная сеть встречного распространения.
- •3.5Модель Хопфилда.
- •3.5.1Сети с обратными связями
- •3.5.2Нейродинамика в модели Хопфилда
- •3.5.3Правило обучения Хебба
- •3.5.4Ассоциативность памяти и задача распознавания образов
- •3.6Обобщения и применения модели Хопфилда.
- •3.6.1Модификации правила Хебба.
- •3.6.2Матрица Хебба с ортогонализацией образов.
- •3.6.3Отказ от симметрии синапсов.
- •3.6.4Алгоритмы разобучения (забывания).
- •3.6.5Двунаправленная ассоциативная память.
- •3.6.6Детерминированная и вероятностная нейродинамика.
- •3.6.7Применения сети Хопфилда к задачам комбинаторной оптимизации.
- •3.7Неокогнитрон Фукушимы.
- •3.7.1Когнитрон: самоорганизующаяся многослойная нейросеть.
- •3.7.2Неокогнитрон и инвариантное распознавание образов.
- •3.8Теория адаптивного резонанса.
- •3.8.1Дилемма стабильности-пластичности восприятия.
- •3.8.2Принцип адаптивного резонанса.
- •3.8.3Нейронная сеть aрt-1.
- •3.8.4Начальное состояние сети.
- •3.8.5Фаза сравнения.
- •3.8.6Фаза поиска.
- •3.8.7Обучение сети арт.
- •3.8.8Теоремы арт.
- •3.8.9Дальнейшее развитие арт: архитектуры арт-2 и арт-3.
- •3.8.10Сети арт-2 и арт-3.
- •3.9Черты современных архитектур.
- •3.9.1Черты современных архитектур.
- •3.9.2Сегодняшний день нейронауки.
- •3.9.3Программное и аппаратное обеспечение. Нейро-эвм.
- •4.Литература и учебно-методические материалы
3.9Черты современных архитектур.
Современные архитектуры нейронных сетей. Актуальные направления фундаментальных исследований. Программные и аппаратные реализации нейронных сетей. Нейропроцессоры. Научные и промышленные приложения.
3.9.1Черты современных архитектур.
Классические исследования, выполненные в послевоенные годы и дальнейших бурный прогресс в нейроинформатике в 80-е годы определили некоторые общие черты перспективных архитектур и направления исследований. И, хотя любые оценки в этой области весьма суб'ективны, автор счел возможным изложить свою точку зрения на наблюдающиеся тенденции. Остановимся на некоторых из них.
1) Плотное сопряжение теоретических исследований с поиском новых физических принципов и физических сред для аппаратной реализации нейронных сетей. Здесь прежде всего следует отметить оптичекие системы, как линейные, так и нелинейные: фурье-оптика, голограммы, нелинейные фоторефрактивные кристаллы, оптические волноводные волокна, электронно-оптические умножители и другие. Перспективными также являются среды с естественными автоволновыми свойствами (химические и биологические). Все эти среды реализуют важное свойство массивной параллельности при обработке информации. Кроме того, они, как правило, содержат механизмы "саморегулирования", позволяющие организовывать обучение без учителя.
2) Иерархичность архитектур и разделение функций нейронов. В современных архитектурах используются слои или отдельные нейроны нескольких различных типов: командные нейроны-переключатели, пороговые нейроны, нейронные слои с латеральным торможением, работающие по принципу "победитель забирает все". Априорное разделение функций нейронов значительно упрощает обучение, так как сеть изначально структурно соответствует задаче
3) Преимущественное использование методов обучения без учителя, за счет самоорганизации. Эти методы имеют глубокие биологические основания, они обеспечивают локальный характер обучения. Это позволяет не применять глобальную связность сети. С учителем обучаются только внешние, выходные слои нейронов, причем роль учителя часто сводится только к общей эксперной оценке качества работы сети23.
4) Ориентация исследований и архитектур непосредственно на приложения. Модели общего характера, такие как сеть Хопфилда или многослойный персептрон, в основном представляют научный интерес, так как допускают относительно полное теоретическое исследование.
Этот список является, разумеется, далеко не полным. В него не включены, наприме, современные исследования в области гибридных неронно-экспертных систем, использующих как формальную логику, так и ассоциативное узнавание. Читатель также может и сам проанализировать рассматриваемые типы нейронных сетей на предмет выявления общих свойств и тенденций.
3.9.2Сегодняшний день нейронауки.
Некоторые сведения из истории нейронауки читатель уже почерпнул во введении. Фундаментальные исследования в теории нейронных сетей и интеллектуальных методов обработки информации достигли новой фазы после ряда состоявшихся начиная с 1986 г. специализированных конференций, непосредственно посвященных нейронауке. Осенью 1988 г. было учреждено Международное общество нейросетей (INNS - International Neural Networks Society), которое координирует мировую "нейроактивность".
Предстоящий летом 1994 г. Всемирный конгресс по нейронным сетям, организуемый этим обществом, подведет основные итоги и проявит современное состояние фундаментальных исследований. Для охвата тенденций развития нейронауки в целом мы остановимся на основных тематических вопросах программы этого конгресса.
1. Биологическое зрение. Этот раздел возглавляет С.Гроссберг.
2. Машинное зрение. Раздел охватывает аспекты моделирования зрительных функций в технических системах. Особое внимание будет уделено принципам избирательного внимания к объектам зрительной сцены.
3. Речь и язык. Различные аспекты синтеза и распознавания речи.
4. Биологические нейронные сети. Тематика раздела охватывает свойства отдельных нейронов, нейронных сетей управления движением и слухом, аспекты обучения в биологических сетях, а также пути перехода от биологических нейронов к искусственным (кремниевым).
5. Нейроуправление и робототехника.
6. Обучение с учителем.
7. Обучение без учителя.
8. Распознавание образов.
9. Прогноз и идентификация систем. Рассматриваются методы кибернетического моделирования сложных систем на базе нейронных сетей.
10. Нейронаука о сознании. Аспекты организации и моделирования высшей нервной деятельности.
11. Связь науки о сознании с искусственным интеллектом.
12. Нечеткие нейронные системы. Построение нейромоделей нечеткой логики.
13. Обработка сигналов. Одна из старейших областей приложений нейронных сетей и теории распознавания образов - выделение и анализ свойств сигнала из шума.
14. Нейродинамика и хаос. Сюда относятся свойства нейронных сетей, как нелинейных динамических систем.
15. Аппаратные реализации. Ключевой вопрос перспективных приложений - новые физические принципы и среды для обработки информации.
16. Ассоциативная память.
17. Приложения. Данный раздел будет, по-видимому, наиболее широко представлен.
18. Нейровычисления и виртуальная реальность. Здесь рассматривается возможность применения нейронных сетей и высокопараллельных вычислений на них для создания искусственной реальности. Сложная аппаратно-программная система виртуальной реальности моделирует основные сигналы, воспринимаемые человеком от внешнего мира, и реагирует на его действия, подменяя собой реальный мир.
19. Сети и системная нейронаука. Основное внимание в этом разделе будет уделено временному поведению сигналов в нейронных контурах как биологических, так и искусственных сетей.
20. Математические основания.
Некоторые разделы, такие, например, как обучение с учителем и без учителя, нейродинамика и ассоциативная память, распознавание образов, решение математических задач на нейронных сетях, в виде основных классических результатов были затронуты в этой книге. Другие, возможно, знакомы читателю из других книг (в том числе, и из научно-фантастических). Некоторые показались совершенно новыми. По всем из них мы с нетерпением будем ждать результатов работы конгресса.