- •Оглавление
- •Введение
- •1.Математические модели искусственных нейронных сетей [9]
- •1.1Общие сведения о структуре биологического нейрона
- •1.2 Математическая модель искусственного нейрона
- •1.3 Математическое описание нейронной сети
- •1.4 Стохастический нейрон
- •1.5 Сравнение характеристик машины фон Неймана и нейронной сети
- •2.Разработка структуры и функций нейроимитатора как элемента интеллектуальной информационной системы
- •2.1 Концепции применения нейросетевых компонентов в информационных системах
- •2.2 Предварительная обработка информации на этапе проектирования нейросетевых компонентов
- •2.3 Формирование задачника для нейросети
- •2.4 Особенности формирования нейронной сети
- •2.5 Интерпретация сигналов нейронной сети
- •2.6Управляющая программа (исполнитель)
- •2.7 Компонент учитель
- •2.8Настройка параметров нейросети.
- •2.9Оценка и коррекция нейросетевой модели
- •2.10 Конструктор нейронной сети
- •2.11 Контрастер нейросети.
- •2.12 Логически прозрачные сети, получение явных знаний
- •2.13 Решение дополнительных задач с помощью нейросетевых компонентов
- •2.14Разработка языка описания нейроимитатора для обмена данными
- •3.Разновидности нейронных сетей [31]
- •3.1Персептрон Розенблатта.
- •3.1.1Персептрон Розенблатта.
- •3.1.2Теорема об обучении персептрона.
- •3.1.3Линейная разделимость и персептронная представляемость
- •3.2Свойства процессов обучения в нейронных сетях.
- •3.2.1Задача обучения нейронной сети на примерах.
- •3.2.2Классификация и категоризация.
- •3.2.3Обучение нейронной сети с учителем, как задача многофакторной оптимизации.
- •3.3Многослойный персептрон.
- •3.3.1Необходимость иерархической организации нейросетевых архитектур.
- •3.3.2Многослойный персептрон.
- •3.3.3Обучение методом обратного распространения ошибок.
- •3.4Другие иерархические архитектуры.
- •3.4.1Звезды Гроссберга
- •3.4.2Принцип Winner Take All (wta) - Победитель Забирает Все - в модели Липпмана-Хемминга.
- •3.4.3Карта самоорганизации Кохонена.
- •3.4.4Нейронная сеть встречного распространения.
- •3.5Модель Хопфилда.
- •3.5.1Сети с обратными связями
- •3.5.2Нейродинамика в модели Хопфилда
- •3.5.3Правило обучения Хебба
- •3.5.4Ассоциативность памяти и задача распознавания образов
- •3.6Обобщения и применения модели Хопфилда.
- •3.6.1Модификации правила Хебба.
- •3.6.2Матрица Хебба с ортогонализацией образов.
- •3.6.3Отказ от симметрии синапсов.
- •3.6.4Алгоритмы разобучения (забывания).
- •3.6.5Двунаправленная ассоциативная память.
- •3.6.6Детерминированная и вероятностная нейродинамика.
- •3.6.7Применения сети Хопфилда к задачам комбинаторной оптимизации.
- •3.7Неокогнитрон Фукушимы.
- •3.7.1Когнитрон: самоорганизующаяся многослойная нейросеть.
- •3.7.2Неокогнитрон и инвариантное распознавание образов.
- •3.8Теория адаптивного резонанса.
- •3.8.1Дилемма стабильности-пластичности восприятия.
- •3.8.2Принцип адаптивного резонанса.
- •3.8.3Нейронная сеть aрt-1.
- •3.8.4Начальное состояние сети.
- •3.8.5Фаза сравнения.
- •3.8.6Фаза поиска.
- •3.8.7Обучение сети арт.
- •3.8.8Теоремы арт.
- •3.8.9Дальнейшее развитие арт: архитектуры арт-2 и арт-3.
- •3.8.10Сети арт-2 и арт-3.
- •3.9Черты современных архитектур.
- •3.9.1Черты современных архитектур.
- •3.9.2Сегодняшний день нейронауки.
- •3.9.3Программное и аппаратное обеспечение. Нейро-эвм.
- •4.Литература и учебно-методические материалы
4.Литература и учебно-методические материалы
Барский А.Б. Нейронные сети: распознавание, управление, принятие решений.-М.: Финансы и статистика, 2007.- 176с.:ил.-(Прикладные информационные технологии).
Gilev S.E., Gorban A.N., Mirkes E.M. Several methods for accelerating process jf neural networks in pattern recognition/ Krasnojarsk, 1990, 16 pp
Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. - Новосибирск: Наука. Сибирская издательская фирма РАН, 1996. -276с.
Горбань А.Н. Обучение нейронных сетей.- М.: изд. СССР-США СП "ParaGraph", 1990.-159с.
Горбатков С.А., Полупанов Д.В. Методы нейроматемтики в налоговом контроле: Монография/ под ред. Д-ра тех. Наук, проф. С.А. Горбаткова.- Уфа: РИЦ Баш ГУ, 2008.-136 с., ил.
Зиновьев А.Ю. Визуализация многомерных данных. Монография. Красноярск: ИПЦ КГТУ, 2000.-168с.
Каллан, Роберт Основные концепции нейронных сетей.: Пер. с англ.-М.: Издательский дом «Вильямс», 2003.-288с.: ил. Парал. Тит. англ.
Круглов В.В. Борисов В.В. Искусственные нейронные сети. Теория и практика.-2-е изд., стереотип. М.: Горячая линия-Телеком, 2002.-382с: ил.
Машулина О.А., Лабинская А.А., Щербинина М.В. Лабораторный практикум по курсу «Ведение в теорию нейронных сетей».М.: МИФИ, 2000.-204 с.
Медведев В.С. , Потемкин В.Г. Нейронные сети. MATLAB 6/ Под общ.ред. к.т.н. В.Г. Потемкина.- М.: ДИАЛОГ-МИФИ, 2002.-496с.-(Пакеты прикладных программ; Кн.4)
Методы нейроинформатики: Сб. научн. Трудов/ под ред. А.Н. Горбаня; Отв. За вып. М.Г. Доррер: КГТУ, Красноярск, 1998, 2004с.-205с.
Минаев Ю.Н., Филимонова О.Ю., Бенамеур Лиес Методы и алгоритмы решения задач идентификации и прогнозирования в условиях неопределенности в нейросетевом логическом базисе.- М.: Горячая линия- Телеком.2003.-205с.: ил.
Миркес Е.М. Нейрокомпьютер. Проект стандарта/ Е.М. Миркес.-Новосибирск: Наука. Сибирское предприятие РАН, 1999.-337с
Нейроинформатика / А.Н. Горбань, В.Л. Дунин-Барковский, А.Н. Кирдин и др.- Новосибирск: Наука, Сибирское предприятие РАН, 1998.-296с.
Нейронные сети. STATISTIKA Neural Networks: Пер. с англ.-М: Горячая линия- Телеком.2000.-182с., ил.
Нейропрограммы: Учеб.пособие: В 2 ч. Ч.1/ Л.В. Гилева, С.Е.Гилев,, А.Н. Горбань и др.; Под ред. А.Н. Горбаня; КГТУ, Красноярск, 1994.-137с.
Нейропрограммы: Учеб.пособие: В 2 ч. Ч.2/ Л.В. Гилева, С.Е.Гилев, А.Н. Горбань и др.; Под ред. А.Н. Горбаня; КГТУ, Красноярск, 1999.-123с.
Описание пакета нейропрограмм CLAB, Neuro Comp, Дом нейропрограмм, ИВМ СО РАН, Красноярск: 1995.-85с.
Осовский С. Нейронные сети для обработки информации / пер. с польского И.Д. Рудинского.-М.: Финансы и статистика, 2002.-344с.
Пятковский О.И. Интеллектуальные компоненты автоматизированных информационных систем управления предприятием: Монография - г. Барнаул": АлтГТУ.- Барнаул: изд-во АлтГТУ, -1999.-351с.
Пятковский О.И., Бутаков С.В., Рубцов Д.В. Методы построения интеллектуальных информационных систем анализа хозяйственной деятельности предприятий. - г.Барнаул: АлтГТУ, 1999.
Пятковский О.И., Бутаков С.В., Рубцов Д.В. Методы построения интеллектуальных информационных систем анализа хозяйственной деятельности предприятий. - г.Барнаул: АлтГТУ. - 1999. – 0/1.
Пятковский О.И. Интеллектуальные компоненты аналитических информационных систем управления организацией: Учебное пособие / Алт. гос. Техн. Ун-т им. И. И. Ползунова. – Барнаул: Изд-во АлтГТУ, 2002.-219 с.
Пятковский О.И., Павловский Е.В., Свит Т.Ф., Семкин Б.В. ,Синицин В.А., Шевелева Л.В., Щербаков Н.П. Интегрированные образовательные учреждения/ под общ. Ред. Б.В. Семкина, г.Барнаул": АлтГТУ. -2009. –325с. 0/1.
Евстигнеев В.В., Пятковский О.И., Семкин Б.В., Хомутов О.И., Швецов Г.И. Управление вузом с разветвленной территориальной структурой на основе нейросетевых и геоинформационных технологий.- Новосибирск: Наука, 2003.-247с.
Пятковский О.И., Новоселов С.В. Аналитическая система оценки инновационного потенциала технического университета и его подразделений.-Новосибирск: Наука, 2007.-221 с.
Россиев А.А. Итерационное моделирование неполных данных с помощью многообразий малой размерности: Научное издание.- Новосибирск: Изд-во СО РАН, 2004.-78с.
Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы: Пер. с польск. И.Д. Рудинского.- М.: Горячая линия.- Телеком, 2007.-452 с.:ил.
Сентаготаи Я. Арбиб М. Концептуальные модели нервной системы.М.МИР, 1976.-198 с.
Терехов В.А. Нейросетевые системы управления. Учеб. Пособие для вузов/ В.А. Терехов, Д.В. Ефимов, И.Ю. Тюкин.- М.: Высш.шк. 2002.-183с.:ил.
Терехов С.А. Лекции по теории и приложениям нейронных сетей: Учебное пособие.-Снежинск.: МИФИ, 1995.
Усков А.А., Кузьмин А.В. Интеллектуальные технологии управления. Искусственные нейронные сети и нечеткая логика.- М.: Горячая Линия- Телеком, 2004.-143с.: ил.
Цыганков В.Д. Вселенная Хокинга и нейрокомпьютер. Серия «Информатизация России на пороге XXI века».-М.: СИНТЕГ, 2000,84с.
Цыганков В.Д. Нейрокомпьютер и мозг. Учебное пособие. Серия «Информатизация России в XXI веке».-М.: СИНТЕГ, 2001.-248с.
Уоссермен Ф. Нейрокомпьютерная техника.- М.: Мир, 1992.
Хайкин, Саймон. Нейронные сети: полный курс, 2-е изд., испр.: Пер с англ.- М. ООО « И.Д. Вильямс», 2006.- 1104с.: ил.- Парал. Тит. англ.
1 В качестве учителя может выступать другая, уже обученная, нейронная сеть. При этом для оценки ошибки сравниваются выходы обеих сетей.
2При рассмотрении соответсвующих пространств предполагается использование обычных векторных операций сложения и умножения на скаляр (подробнее см. лекцию 2).
3 Термин “фазовое пространство” пришел из статистической физики систем многих частиц, где под ним понимается совокупность координат и импульсов всех частиц, составляющих систему.
4При условии, конечно, если функция не задана явно, например, формулой. Однако для явно заданных функций обычно не возникает потребности представления их нейросетевыми моделями.
5 Б.Банди. Методы оптимизации. М. Радио и связь, 1988
6 Здесь не рассматривается ситуация, когда топология сети меняется в процессе обучения.
7 В том же 1986 г. аналогичный (и даже более общий) метод обучения - метод двойственного функционирования - был предложен русским ученым В.А.Охониным.
8 В соотвествии с принятой в лекции 4 терминологией, такую сеть мы будем называть двухслойной, по числу слоев обрабатывающих нейроподобных элементов.
9 Хотя индексы в формулах являются “немыми”, введенные обозначения не вызовут недоразумений.
10Нужно отметить, что последовательная динамика в сети Хопфилда всегда приводит к одному устойчивому состоянию, токда как параллельная динамика может закончиться циклом из пары сменяющих друг друга состояний.
11Функция E также является и ограниченной, в силу конечности каждого из сомножителей и слагаемых.
12Это утверждение составляет содержание теоремы Коэна-Гроссберга (M.Cohen, S.Grossberg, 1983).
13Точнее здесь термин авто-ассоциативность, поскольку более общее понятие ассоциативности включает также и гетеро-ассоциативность, т.е. способность к восстановления одного образа пары по известному другому на основе связывающих их ассоциаций. Под ассоциативной связью вообще понимается такая связь между частями сложной системы, природа которой не устанавливается из рассмотрения этих частей по отдельности. Более подробную информацию можно найти в монографии Г.Николис, И.Пригожин. Познание сложного.М.Мир, 1990.
14 Набор из N ортогональных образов составляет базиз пространства образов с N компонентами (см. лекцию 2).
15 Трудности при построении теоретического обоснования увеличесния об’ема памяти связаны, по-видимому, с тем, что при разобучении используются не исходные, а некоторые, вообще говоря, неизвестные результирующие состояния.
16 Более точно, NP-полной называется задача, вычислительные алгоритмы для решения которой требуют затрат, возрастающих быстрее, чем любая степень числа переменных или элементов N.
17 Необходимо отметить, что для надежной расшифровки длина закодированного сообщения должна быть достаточно большой. В противном случае расчетные частоты появления символов и пар могут значительно отличаться от средних для данного языка значений.
18Предложены также и безитерационные механизмы латерального торможения.
19В оригинальной работе - critical feature pattern.
20Ф.Уоссермен. Нейрокомпьютерная техника. М.: Мир, 1992.
21Это утверждение об устойчивости поиска следует из теории АРТ.
22В оригинальной работе обучение рассматривается в терминах дифференциальных уравнений, из которых указанные нами значения получаются в виде предельных.
23Это замечание, конечно, не относится к сетям, выполняющим заданные функциональные отображения.
24 Аббревиатура SYNAPSE в данном случае означает SYnthesis of Neural Algorithms on a Parallel Systolic Engine (синтез нейронных алгоритмов на параллельном систолическом устройстве)