11.2. Функции активации

Функция активации, или передаточная функция нейрона, преобразует каждый элемент n_iвектора входа нейрона в элементa_i вектора выхода:

.

Если рассматривать слой нейронов, то выражение функции активации через параметры слоя может быть записано в следующей векторной форме:

,

где a ^m– вектор выхода нейронов размераS ^m1 для слояm;W^m– матрица весовых коэффициентов размераS ^mS ^{m –1}для слояm;b^m– вектор смещений размераS ^m1 для слояm;f ^m– функция активации нейронов слояm;n^m – вектор входа нейронов для слояm;S^m– число нейронов слояm;a⁰=p– вектор входа сети размераS⁰ 1, причемS⁰=R и R – число элементов вектора входа сети.

Все М-функции ППП NNToolbox, описывающие функции активации, имеют одинаковый формат

A = <имя_функции>(N),

где A – матрица векторов выхода; N – матрица векторов входа.

Производные функций активации имеют следующий формат

dA_dN = d<имя_функции>(N,A).

Кроме того, для функций активации определена информационная функция вида

info = <имя_функции>(code),

где аргумент codeможет принимать следующие значения:

'name'– полное название функции активации;

'deriv'– имя производной функции активации;

'active' –активный диапазон входа функции активации;

'output'– диапазон выхода функции активации.

Персептрон

hardlim, DHARDLIM

Функция активации с жесткими ограничениями

Блок Simulink:

Синтаксис:

A = hardlim(N) info = hardlim(code)

dA_dN = dhardlim(N,A)

Описание:

Функция A = hardlim(N) реализует функцию активации с жесткими ограничениями, которая возвращает выход нейрона равным 1, если вход достигает порогового значения, в иных случаях выход равен 0.

Функция info = hardlim(code) сообщает информацию о функцииhardlim.

Функция dA_dN = dhardlim(N, A) вычисляет производную функцииhardlim.

Пример:

Информация о функции активации hardlim:

name = hardlim('name')

dname = hardlim('deriv')

inrange = hardlim('active')

outrange = hardlim('output')

name = Hard Limit

dname = dhardlim

inrange = 0 0

outrange = 0 1

Зададим следующий вектор входа функции активации с жесткими ограничениями для слоя из трех нейронов и рассчитаем вектор выхода Aи производнуюdA_dN:

N = [0.1; 0.8; –0.7];

A = hardlim(N)	dA_dN = dhardlim(N,A)
A = 1 1 0	dA_dN = 0 0 0

Применение функции:

Функция активации hardlim используется при формировании нейронной сети персептрона с помощью М-функцииnewp. Для задания функции активацииhardlimследует установить значение свойстваnet.layers{i}.transferFcnравным'hardlim'.

Алгоритм:

Функция активации hardlim и ее производная dhardlim определяются следующими соотношениями:

Сопутствующие функции: sim, hardlims.

hardlimS,DHARDLMS

Симметричная функция с жесткими ограничениями

Блок Simulink:

Синтаксис:

A = hardlims(N) info = hardlims(code)

dA_dN = dhardlms(N, A)

Описание:

Функция A = hardlims(N) реализует симметричную функцию активации с жесткими ограничениями, которая возвращает выход нейрона равным 1 при положительном и –1 при отрицательном пороговом значении.

Функция info = hardlims(code) сообщает информацию о функцииhardlims.

Функция dA_dN = dhardlms(N, A) вычисляет производную функцииhardlims.

Пример:

Информация о функции активации hardlims:

name = hardlims('name')

dname = hardlims('deriv')

inrange = hardlims('active')

outrange = hardlims('output')

name = Symmetric Hard Limit

dname = dhardlms

inrange = 0 0

outrange = –1 1

Зададим следующий вектор входа симметричной функции активации с жесткими ограничениями для слоя из трех нейронов и рассчитаем вектор выхода A и производную dA_dN:

N = [0.1; 0.8; –0.7];

A = hardlims(N)	dA_dN = dhardlms(N,A)
A = 1 1 –1	dA_dN = 0 0 0

Применение функции:

Функция активации hardlims используется при формировании нейронной сети персептрона с помощью М-функцииnewp. Для задания функции активацииhardlimsследует установить значение свойстваnet.layers{i}.transferFcnравным'hardlims'.

Алгоритм:

Функция активации hardlims и ее производная dhardlms определяются следующими соотношениями:

Сопутствующие функции: sim, hardlim.