- •Оглавление
- •Введение
- •1.Математические модели искусственных нейронных сетей [9]
- •1.1Общие сведения о структуре биологического нейрона
- •1.2 Математическая модель искусственного нейрона
- •1.3 Математическое описание нейронной сети
- •1.4 Стохастический нейрон
- •1.5 Сравнение характеристик машины фон Неймана и нейронной сети
- •2.Разработка структуры и функций нейроимитатора как элемента интеллектуальной информационной системы
- •2.1 Концепции применения нейросетевых компонентов в информационных системах
- •2.2 Предварительная обработка информации на этапе проектирования нейросетевых компонентов
- •2.3 Формирование задачника для нейросети
- •2.4 Особенности формирования нейронной сети
- •2.5 Интерпретация сигналов нейронной сети
- •2.6Управляющая программа (исполнитель)
- •2.7 Компонент учитель
- •2.8Настройка параметров нейросети.
- •2.9Оценка и коррекция нейросетевой модели
- •2.10 Конструктор нейронной сети
- •2.11 Контрастер нейросети.
- •2.12 Логически прозрачные сети, получение явных знаний
- •2.13 Решение дополнительных задач с помощью нейросетевых компонентов
- •2.14Разработка языка описания нейроимитатора для обмена данными
- •3.Разновидности нейронных сетей [31]
- •3.1Персептрон Розенблатта.
- •3.1.1Персептрон Розенблатта.
- •3.1.2Теорема об обучении персептрона.
- •3.1.3Линейная разделимость и персептронная представляемость
- •3.2Свойства процессов обучения в нейронных сетях.
- •3.2.1Задача обучения нейронной сети на примерах.
- •3.2.2Классификация и категоризация.
- •3.2.3Обучение нейронной сети с учителем, как задача многофакторной оптимизации.
- •3.3Многослойный персептрон.
- •3.3.1Необходимость иерархической организации нейросетевых архитектур.
- •3.3.2Многослойный персептрон.
- •3.3.3Обучение методом обратного распространения ошибок.
- •3.4Другие иерархические архитектуры.
- •3.4.1Звезды Гроссберга
- •3.4.2Принцип Winner Take All (wta) - Победитель Забирает Все - в модели Липпмана-Хемминга.
- •3.4.3Карта самоорганизации Кохонена.
- •3.4.4Нейронная сеть встречного распространения.
- •3.5Модель Хопфилда.
- •3.5.1Сети с обратными связями
- •3.5.2Нейродинамика в модели Хопфилда
- •3.5.3Правило обучения Хебба
- •3.5.4Ассоциативность памяти и задача распознавания образов
- •3.6Обобщения и применения модели Хопфилда.
- •3.6.1Модификации правила Хебба.
- •3.6.2Матрица Хебба с ортогонализацией образов.
- •3.6.3Отказ от симметрии синапсов.
- •3.6.4Алгоритмы разобучения (забывания).
- •3.6.5Двунаправленная ассоциативная память.
- •3.6.6Детерминированная и вероятностная нейродинамика.
- •3.6.7Применения сети Хопфилда к задачам комбинаторной оптимизации.
- •3.7Неокогнитрон Фукушимы.
- •3.7.1Когнитрон: самоорганизующаяся многослойная нейросеть.
- •3.7.2Неокогнитрон и инвариантное распознавание образов.
- •3.8Теория адаптивного резонанса.
- •3.8.1Дилемма стабильности-пластичности восприятия.
- •3.8.2Принцип адаптивного резонанса.
- •3.8.3Нейронная сеть aрt-1.
- •3.8.4Начальное состояние сети.
- •3.8.5Фаза сравнения.
- •3.8.6Фаза поиска.
- •3.8.7Обучение сети арт.
- •3.8.8Теоремы арт.
- •3.8.9Дальнейшее развитие арт: архитектуры арт-2 и арт-3.
- •3.8.10Сети арт-2 и арт-3.
- •3.9Черты современных архитектур.
- •3.9.1Черты современных архитектур.
- •3.9.2Сегодняшний день нейронауки.
- •3.9.3Программное и аппаратное обеспечение. Нейро-эвм.
- •4.Литература и учебно-методические материалы
3.4Другие иерархические архитектуры.
Командные нейроны и нейроны-детекторы Гроссберга. Принцип "Победитель Забирает Все" (WTA). Модель Липпмана-Хемминга. Карта самоорганизации Кохонена. Сети встречного распространения.
В этой лекции будут рассмотрены различные компоненты однородных (состоящих из нейронов одного типа) и неоднородных нейронных сетей. Некоторые преимущества иерархических архитектур - более развитая способность к обобщению, отсутствие жестких ограничений на типы представимых отображений с сохранением простоты нейронной функции и свойства массивной параллельности при обработке информации - уже были нами изучены на лекции, посвященной многослойному персептрону с обучением методом обратного распространения ошибок. Теперь мы познакомимся с иными подходами к построению нейросетей и методам обучения, и в частности, с методом обучения без учителя на основе самоорганизации.
3.4.1Звезды Гроссберга
Идеи, отраженные в исследованиях Стефана Гроссберга на заре биологической кибернетики, положены в основу многих последующих нейросетевых разработок. Поэтому мы начинаем наше рассмотрение иерархических архитектур с конфигураций входных и выходных звезд Гроссберга (S. Grossberg, 1969).
Нейрон в форме входной звезды имеет N входов X1..N, которым соответствуют веса W1..N, и один выход Y, являющийся взвешенной суммой входов. Входная звезда обучается выдавать сигнал на выходе всякий раз, когда на входы поступает определенный вектор. Таким образом, входная звезда является детектором совокупного состояния своих входов. Процесс обучения представляется в следующей итерационной форме:
Темп обучения a имеет начальное значение масштаба 0.1 и постепенно уменьшается в процессе обучения. В процессе настройки нейрон учится усредненным обучающим векторам.
Выходная звезда Гроссберга выполняет противоположную функцию - функцию командного нейрона, выдавая на выходах определенный вектор при поступлении сигнала на вход. Нейрон этого типа имеет один вход и M выходов с весами W1..M, которые обучаются по формуле:
Рекомендуется начать c b порядка единицы и постепенно уменьшать до нуля в процессе обучения. Итерационный процесс будет сходиться к собирательному образу, полученному из совокупности обучающих векторов.
Особенностью нейронов в форме звезд Гроссберга является локальность памяти. Каждый нейрон в форме входной звезды помнит "свой" относящийся к нему образ и игнорирует остальные. Каждой выходной звезде присуща также конкретная командная функция. Образ памяти связывается с определенным нейроном, а не возникает вследствие взаимодействия множества нейронов в сети.
3.4.2Принцип Winner Take All (wta) - Победитель Забирает Все - в модели Липпмана-Хемминга.
Рассмотрим задачу о принадлежности образа x некоторому классу Xk, определяемому заданными библиотечными образами xk. Каждый из заданных образов обучающей выборки непосредственно определяет свой собственный класс, и таким образом, задача сводится к поиску "ближайшего" образа. В случае двух двоичных (0-1) образов расстояние между ними может быть определено по Хеммингу, как число несовпадающих компонент. Теперь после вычисления всех попарных расстояний искомый класс определяется по наименьшему из них.
Нейросетевое решение этой задачи может быть получено на основе архитектуры Липпмана-Хемминга (Lippman R., 1987). Сеть имеет один слой одинаковых нейронов, число которых равно количеству классов. Таким образом, каждый нейрон "отвечает" за свой класс. Каждый нейрон связан с каждым из входов, число которых равно размерности рассматриваемых библиотечных образов. Веса связей полагаются равными нормированным библиотечным образам:
Здесь - значение веса связи от n-го входа к m-му нейрону (см. рис.7.1.). Процесс поступления информации о векторе x в нейронную сеть является безитерационным. При этом входной вектор сначала нормируется:
и нейроны принимают начальные уровни активности:
Здесь f(x) - переходная функция (функция активации) нейрона, которая выбирается равной нулю при x<0, и f(x)=x при x>0. Пороги Q полагаются обычно равными нулю.
Рис. 7.1. Нейронная сеть Липпмана-Хемминга.
При поступлении входного вектора начальное возбуждение получают все нейроны, скалярное произведение векторов памяти которых с входным вектором превышает порог. В дальнейшем среди них предстоит выбрать один, для которого оно максимально. Это достигается введением дополнительных обратных связей между нейронами, устроенных по принципу "латерального торможения". Каждый нейрон получает тормозящее (отрицательное) воздействие со стороны всех остальных нейронов, пропорционально степени их возбуждения, и испытывает возбуждающее (положительное) воздействие самого на себя. Веса латеральных связей в нейронном слое нормируются таким образом, что суммарный сигнал является возбуждающим только для нейрона с максимальной исходной активностью. Остальные нейроны испытывают торможение:
По выполнении некоторого числа итераций t для всех нейронов кроме одного значение аргумента функции f(x) становится отрицательным, что обращает их активность ym в нуль. Единственный, оставшийся активным, нейрон является победителем. Он и указывает на тот класс, к которому принадлежит введенный образ. Такой механизм получил название "Победитель-Забирает-Все" ( Winner Take All - WTA ). Механизм WTA используется и в других нейросетевых архитектурах. Заложенный в его основе принцип латерального торможения имеет глубокие биологические основания и весьма широко распространен в нейронных сетях живых организмов.
Нейросетевая парадигма Липпмана-Хемминга является моделью с прямой структурой памяти. Информация, содержащаяся в библиотечных образах никак не обобщается, а непосредственно запоминается в синаптических связях. Память здесь не является распределенной, так как при выходе из строя одного нейрона полностью теряется информация обо всем соответствующем ему образе памяти.