- •Введение
- •Глава 1. Интеллектуальные информационные системы
- •Основные направления в искусственном интеллекте
- •Нейросетевые и нейрокомпьютерные технологии.
- •Мультиагентные (многоагентные) системы.
- •1.2. Данные и знания
- •Эволюция развития информационных систем
- •1.4. Основные разновидности иис и характеристики решаемых задач
- •1.5. Классификация иис
- •Глава 2. Структура и этапы проектирования экспертных систем
- •2.1. Структура статической и динамической эс
- •2.2. Характеристики, стадии существования и этапы проектирования статических эс
- •Глава 3. Модели представления знаний
- •3.1. Продукционная модель
- •3.2. Формально-логическая модель
- •3.3. Фреймовая модель
- •3.4. Семантические сети
- •Глава 4. Методы обработки знаний в интеллектуальных системах. Нечеткие знания
- •4.1. Интерпретатор правил и управление выводом
- •4.2. Нечеткие знания и нечеткая логика
- •Глава 5. Теоретические основы инженерии знаний
- •5.1. Процедура извлечения знаний
- •5.2. Основные аспекты извлечения знаний
- •5.3. Методы извлечения знаний
- •Глава 6. Нейронные сети
- •6.1. Искусственный нейрон и функции активации
- •6.2. Нейронные сети с прямой связью
- •6.3. Алгоритмы обучения нейронных сетей
- •Глава 7. Технология создания экономических советующих систем
- •7.1. Определение и виды информационных технологий
- •7.2. Технология «Ресурс – Обучение – Цель»
- •7.3. Определение коэффициента важности целей
- •Глава 8. Программный инструментарий разработки систем, основанных на знаниях
- •8.1. Цели и принципы технологии разработки программных средств
- •8.2. Технология и инструментарий разработки программных средств
- •Глава 9. Интеллектуальные интернет-технологии
- •9.1. Интеллектуальные агенты
- •9.2. Мультиагентные системы
- •Мультиагентные системы различного функционального назначения
- •Глава 10. Новые тенденции инженерии знаний,
- •10.1. Методы извлечения глубинных пластов экспертного знания
- •10.2. Хранилища данных
- •10.3. Управление знаниями
- •10.4. Технология создания систем управления знаниями
- •Глава 11. Интеллектуальные информационные системы в условиях неопределенности и риска
- •11.1. Понятие риска в сппр слабоструктурированных проблем
- •11.2. Реализация эс инвестиционного проектирования
- •* Эс определения целей инвестирования капитала.
- •Глава 12. Системы, ориентированные на естественно-языковые запросы. Машинное обучение
- •12.1. Естественно-языковые интерфейсы
- •12.2. Машинное обучение
- •Глава 13. Современные методы исследования,
- •13.1. Интеллектуальные методы проектирования сложных систем
- •13.2. Эвристические методы синтеза сложных систем
- •13.3. Интегрированные, гибридные и синергетические системы
- •Библиографический список
- •Оглавление
- •Николай Александрович Семенов Интеллектуальные информационные системы
- •170026, Г. Тверь, наб. Афанасия Никитина, 22
Глава 6. Нейронные сети
6.1. Искусственный нейрон и функции активации
Биологический нейрон содержит сому (тело нейрона), совокупность отростков – дендритов, по которым в нейрон поступают входные сигналы и отросток – аксон, передающий выходной сигнал нейрона другим нейронам. Точка соединения дендрита и аксона называется синапсом. Общее число нейронов в головном мозгу человека превышает 100 миллиардов, при этом один нейрон соединен более чем с 10 тысячами соседних нейронов. Время срабатывания нейрона составляет около одной миллисекунды, чуть меньше тратится на передачу сигнала между двумя нейронами. Таким образом, биологический нейрон – чрезвычайно медленный процессорный элемент, уступающий быстродействию современных компьютеров в миллионы раз. Тем не менее в целом мозг способен за доли секунды решать задачи, которые не может решить и суперкомпьютер (например, узнать лицо человека, показанное в непривычном ракурсе).
Искусственным нейроном называется простой элемент в виде следующей структуры (рис.6.1) [1].
Рис. 6.1. Искусственный нейрон: вектор входных переменных (дендритов); вектор синаптических весов;
S – сома; y – выход (аксон)
Сначала вычисляется взвешенная сумма V входных переменных (скалярное произведение):
Затем полученная сумма (потенциал нейрона) сравнивается с заданной пороговой величиной W0. Если V W0, то нейрон «не срабатывает», в противном случае вычисляется функция активации (решающая функция) f . При этом
.
Величину порогового барьера можно рассматривать как еще один весовой коэффициент при постоянном входном сигнале.
Функции активации могут быть различных видов: линейная, ступенчатая, линейная с насыщением, многопороговая. Наиболее распространенной является сигмоидная функция с выходными значениями в интервале (0,1):
или в интервале (-1,1):
.
Коэффициент определяет крутизну сигмоида. Поскольку сигмоидная функция является гладким отображением , крутизну можно учесть через величины весов и порогов, и без ограничения общности можно полагать = 1. Чтобы учесть особенности конкретной задачи, могут быть выбраны различные другие функции активации – гауссова, синусоидальная, всплески и т.д.
6.2. Нейронные сети с прямой связью
Нейронная сеть представляет собой совокупность большого числа нейронов, топология соединения которых зависит от типа сети. Нейронные сети с прямой связью состоят из статических нейронов, так что сигнал на выходе сети появляется в тот же момент, когда подаются сигналы на вход. Наиболее общий тип архитектуры сети получается в случае, когда все нейроны связаны друг с другом, но без обратных связей (рис. 6.2).
xn
Выходные переменные
Нейроны выходного
слоя
y2
Нейроны скрытого
слоя
Входные переменные
Рис. 6.2. Нейронная сеть с прямой связью и одним скрытым слоем
Каждому нейрону соответствует свой вектор синаптических весов , множество которых образуют синаптическую матрицу . Связь с нейронами выходного слоя определяет синаптическая матрица , где m – число нейронов скрытого слоя, k – число нейронов выходного слоя.
Число нейронов скрытого слоя неограниченно возрастает при увеличении точности решения задачи. На практике рекомендуется выбирать m = (n + k)/2.
Согласно теоретическим результатам, нейронные сети с прямой связью и с сигмоидными функциями активации являются универсальным средством для аппроксимации различных функций. Любую многослойную сеть можно трансформировать в однослойную без потери информации путем пересчета синаптических матриц.
Применение нейронных сетей целесообразно для решения задач моделирования, прогнозирования, распознавания образов, если:
отсутствует алгоритм или неизвестны принципы решения задач, но накоплено достаточно большое количество примеров;
задача характеризуется большим объемом входной информации;
входные данные неполны, зашумлены и противоречивы.
Характер разработок в области нейронных сетей принципиально отличается от ЭС: последние построены на правилах типа «если …, то…», которые вырабатываются на основе формально-логических структур. В основе нейронных сетей лежит преимущественно-поведенческий подход к решаемой задаче: сеть «учится на примерах» и подстраивает свои параметры при помощи алгоритмов обучения через механизм обратной связи.
Пример 6.1. Пусть n=2, m=2,k=2. Порог возбуждения отсутствует, . Задана структура сети (рис.6.3).
Рис. 6.3. Структура нейронной сети с одним скрытым слоем
, x1 = 1, x2 = - 1. Определить значения y1, y2.
Решение
Пример 6.2. Пусть задана нейронная сеть с двумя скрытыми слоями (рис. 6.4). Порог возбуждения отсутствует, .
Рис. 6.4. Структура нейронной сети с двумя скрытыми слоями
, , x1 = - 1, x2 = 1.
Определить значения y1, y2 и преобразовать сеть в однослойную.
Решение
Для преобразования нейронной сети в однослойную необходимо переопределить семантическую матрицу, т.е. вычислить новую матрицу Wп.
.
Самым важным свойством нейронной сети является ее способность обучаться на примерах. Цель обучения состоит в настройке синаптических матриц.