23.1. Модель нейрона с линейной функцией активации

Модель нейрона базируется на использовании функций вида

f(X) = x₁w₁ + x₂w₂ + … + x_Rw_R + b,

которые определяют гиперплоскости, разделяющие на части гиперпространство аргументов x₁, x₂, …, x_R.

В двумерном случае (при R = 2) нейрон можно описать как взвешенный сумматор на два входа.

В данном случае прямая x₁w₁ + x₂w₂ + b разделит плоскость на две полуплоскости y₀ и y₁.

Принадлежность некоторой точки T конкретному полупространству определяется знаком взвешенной суммы на выходе сумматора – n, который с помощью функции активации трансформируется в значение на выходе сети а (в приведенном случае – 1 или 0).

Известно несколько вариантов применяемых функций активации. Наиболее популярны пороговая, линейная и сигмоидальная.

Искусственные нейронные сети с применением таких нейронов обычно проектируются многослойными и могут разделять пространство аргументов одним из следующих способов.

23.2. Модель нейрона с радиальной функцией активации

На рисунке показана радиальная базисная сеть с R входами.

Функция активации для радиального базисного нейрона имеет вид:

Вход функции активации определяется как модуль разности вектора весовых коэффициентов C и вектора входа X, в квадрате, разделённый на квадрат ширины зоны активации:

График радиально-симметричной функции активации имеет вид:

Эта функция имеет максимум, равный 1, когда вход равен 0. Когда расстояние между векторами C и Х уменьшается, выход радиальной базисной функции увеличивается.

Как правило, в качестве меры используется Евклидово расстояние между векторами:

Таким образом, радиальный базисный нейрон действует как индикатор, который формирует значение 1, когда выход X идентичен вектору весов C (т.е. L = min).

Смещение 1/ позволяет корректировать чувствительность нейрона radbas.

Пример. Возможно применение радиальных сетей для аппроксимации функциональных зависимостей.

q_i, (i=1,2,3) – выходы нейронов скрытого слоя сети,

w = 1/mod(),

q – выход единственного нейрона выходного слоя сети.

23.3. Разработка нейросетевой модели

На основании приведенных моделей искусственных нейронов формируется искусственная нейронная сеть с организацией множественных внутренних связей. Далее она превращается в адекватную модель с требуемым поведением и реализуется программно или аппаратно.

Задача программиста при этом состоит в следующем:

1. Определить размерность входного и выходного векторов для моделируемого объекта.

2. Сформировать (получить) совместно со специалистом из предметной области обучающую выборку. Обучающая выборка задается как набор пар вида «значение сигналов на входе объекта – соответствующее значение выходов».

3. Разделить обучающую выборку на две части: для тестирования и для обучения.

4. Подобрать вид искусственной нейронной сети и задать количество нейронов.

5. Обучить сеть (настроить весовые коэффициенты W и b – для линейных, и C и 1/ – для радиальных нейронов) и протестировать её на адекватность поведения моделируемому объекту с помощью частей выборки, полученных в п. 3.

6. При неадекватном поведении модели повторить п.п. 3÷5.

7. Реализовать полученную модель.

Для обучения искусственных нейронных сетей применяется ряд алгоритмов, в основном базирующихся на идее обратного распространения ошибки.

Более подробно структуры, принципы формирования, алгоритмы обучения нейронных сетей и т.д. изучаются в курсе «Основы искусственного интеллекта».