5. Понятие нейрона
Нейроном называется элемент, вычисляющий взвешенную сумму входных величин
1) нейрон вычисляет взвешенную сумму входных сигналов:
xi – входные сигналы;
Wi – веса связей;
n – размерность входного пространства;
V – потенциал нейрона (состояние).
2
)
потенциал сравнивается с пороговой
величиной w0,
используя функцию активации нейрона.
В результате формируется выходной
сигнал как функция активации от потенциала
w0 – пороговая величина; может рассматриваться как еще один весовой коэффициент при постоянном входном сигнале
+w0
6. Виды искусственных нейронов
В основном, нейроны классифицируют на основе их положения в топологии сети:
-
Входные нейроны — принимают исходный вектор, кодирующий входной сигнал. Как правило, эти нейроны не выполняют вычислительных операций, а просто передают полученный входной сигнал на выход, возможно, усилив или ослабив его;
-
Выходные нейроны — представляют из себя выходы сети. В выходных нейронах могут производиться какие-либо вычислительные операции;
-
Промежуточные нейроны — выполняют основные вычислительные операции
В зависимости от способа преобразования сигнала и характера функции активации
дают следующую классификацию нейронов:
1) По виду выходного сигнала: Детерминированные нейроны (выходное значение определяется порогом) и вероятностные нейроны (состояние в момент времени t определ-яется случайной функцией от потенциала и состояния нейрона в момент времени (t-1))
2) По способу передачи выходного сигнала: Статические (сигнал подается на выход без задержек) и Динамические (в модель нейрона вводится возможность задержки)
3) Нейроны без насыщения (принимают на выходе бесконечное множество значений) и Нейроны с насыщением (дают на выходе предельное значение).
7. Виды и назначение функции активации
Функция активации используется для преобразования уровня активации элемента (нейрона) в выходной сигнал. Обычно функция активации имеет "сжимающее" действие. Виды функции активации:
-
Линейная (сигнал на выходе нейрона линейно связан со взвешенной суммой на входе)
-
Ступенчатая (нейрон принимает значение из двух состояний: 0 или 1)
-
Линейная с насыщением;
-
Многопороговая
-
Сигмоидальная:
1) нейрон может принимать значения [0;1] f(v)=1/(e-bv+1), коэф-т b определяет крутизну сигмоида.
2) [-1;1], f(v)=(e-bv+1)/( e-bv-1). Два дискретных состояния: активный(1), неактивный(-1).
Аксон (выход нейрона) преобразуется активационной функцией и дает выходной нейронный сигнал. Активационную функцию можно считать нелинейной усилительной характеристикой искусственного нейрона. Коэффициент усиления вычисляется как отношение приращения величины выходного сигнала к вызвавшему его небольшому приращению величины выхода нейрона.
8. Виды архитектуры нейронной сети.
Модель Н.С. определяют следующие элементы: 1)Модель нейрона, 2)Вид функции активации (способ выбора следующего состояния нейрона), 3)Алгоритм обучения (настройки весов связей), 4)Топология сети (т.е. организация сети в пространстве).
Нейронная сеть представляется направленным графом со взвешенными дугами. Узлами графа являются нейроны. Выбор этих элементов определяется предметной областью решения задачи.Выделяют:
1). Однослойные (каждый нейрон и входной, и выходной). Различают полносвязные (где каждый нейрон связан с каждым) и регулярные (строгая определенность числа связей каждого нейрона) сети. Для однослойных сетей возможно соединение пограничных нейронов между собой и создание архитектуры цилиндра.
2). Многослойные (вводятся скрытые слои нейрона). Различают сети с прямыми связями (входы определяют выходы), сети с обратными связями (рекуррентные сети; с выходов нейронов последующих слоев подаются сигналы на входы нейронов предыдущих слоев, сеть можно рассматривать как динамическую. Сеть Хопфилда для моделирования ассоциативной памяти), сети с перекрестными связями, сети с лотеральными (или боковыми) связями (эти эффекты реализуются для скрытого слоя, такая модель исп-ся для контрастирования изображения).