2.4 Особенности формирования нейронной сети

При построении нейроимитаторов основным их элементом является искусственная нейронная сеть[ 41]. В работе используются два типа сетей: многослойные сети и карты Кохонена. Архитектура сетей Кохонена и методы их обучения представлены в работах [92,93,233,234]. Архитектура и алгоритмы обучения многослойных сетей также широко представлены в литературных источниках [40,41,228].

2.5 Интерпретация сигналов нейронной сети

Заметим, что если привычный для человека способ представления входных данных непригоден для нейронной сети, то и формат ответов нейронной сети часто малопригоден для человека. Необходимо интерпретировать ответы нейронной сети. Интерпретация зависит от вида ответа. Так, если ответом нейронной сети является действительное число, то его, как правило, приходится масштабировать и сдвигать для попадания в нужный диапазон ответов. Если сеть используется как классификатор, то выбор интерпретаторов еще шире. Важность данного этапа нейросетевой обработки данных вызывает необходимость выделения интерпретатора ответа нейронной сети в отдельный компонент нейрокомпьютера. Особое значение имеет данный компонент при работе нейрокомпьютера в составе информационной системы ВУЗа. Интерпретатор ответа напрямую взаимодействует с пользователем, поэтому оттого, как качественно будет организован интерфейс, зависит эффективность его работы. В п. 4.2 описан один из подходов к построению интеллектуальных интерфейсов. Кроме того, насущным становится применение современных информационных технологий мультимедиа.

Интерпретатор ответа напрямую взаимодействует с пользователем, поэтому оттого, как качественно будет организован интерфейс, зависит эффективность его работы. Для информационных систем выделяются следующие блоки интерпретации: восстановление данных, семантическое представление, шкалирование, графическое, аудио, видео, мультимедиа – представление. Необходимо уделять также особое внимание разработке объяснительных компонентов и качественного синтаксиса и семантики выходного языка (Рис. 4.16). Разработка данных положений является перспективным направлением данной работы в области совершенствования человеко - машинных интерфейсов информационных систем.

2.6Управляющая программа (исполнитель)

Каждый компонент нейрокомпьютера представляет собой отдельный модуль. Для управления работой нейросетевой системы используется управляющая программа, которая выполняет функции загрузки модулей, организации обмена информацией между модулями, базами данных и знаний. Данный компонент называется управляющим модулем (менеджером). Задача этого компонента – управление работой программного комплекса нейрокомпьютера, обеспечивающее эффективное взаимодействие всех его составных частей.

2.7 Компонент учитель

Рассмотрим следующий компонент искусственной нейронной сети – учитель в режимах обучения и дообучения. Существует ряд алгоритмов обучения, жестко привязанных к архитектуре нейронной сети. Примерами таких алгоритмов могут служить обучение (формирование синаптической карты) сети Хопфилда, обучение сети Кохонена и ряд других аналогичных сетей. Методы обучения нейронных сетей типа карт Кохонена представлены в работах [92,93,233,234].

Рассмотрим особенности алгоритмов обучения многослойных сетей, которые применяются в настоящей разработке. Минимизация функции оценки выполняется с привлечением градиентных методов оптимизации. Изучению градиентных методов обучения нейронных сетей посвящено множество работ [11,40,41,113,200,210,230]. Все градиентные методы объединены использованием градиента как основы для вычисления направления спуска. Для разработанного нейроимитатора применяются следующие методы: метод наискорейшего спуска, модифицированный ParTan, квазиньютоновский [40]. При обучении сети градиентными методами в качестве стандартной оценки работы нейросети (функции ошибки) выступает оценка по методу наименьших квадратов (МНК) [40,41]:

,

(4.9)

где Н – оценка работы нейросети, F_s^p(a, x_s) – значение р-ой компоненты вектора выходного сигнала нейросети, y_s^p – требуемое значение, S – число примеров, P – размерность вектора y.

В [40,41,110] отмечается, что процесс обучения нейросети можно значительно ускорить, если вместо оценки (4.9) применять более специализированные. Они строятся путем формализации требований к нейросетевому решателю для конкретного вида задач. Для задач регрессии более подходящей является оценка МНК с допуском [110]:

(4.10)

где допуск или допустимая погрешность, – требуемое значение сигнала, ответ сети; так как если целевое значение измерено с погрешностью тодостаточно, если выданный сетью ответ попадет в интервал . При достижении этого результата пример считается решенным. Оценка вида (4.10) позволяет ускорить процесс обучения и получить более сглаженные нейросетевые функции, так как тогда требования к сложности нейросети выражаются не в виде оценки константы Липшица [41,110](4.5), а в виде (4.6), т.е. становятся более мягкими. Сглаженная функция, в свою очередь, обладает более высокими экстраполяционными и интерполяционными способностями [199].

Для задач классификации целевая переменная является дискретной (номинальной). Ее кодирование проводится в соответствие с (4.4), т.е. сеть будет иметь несколько выходных полей, каждому из которых соответствует определенный класс. Тогда ответом нейросети на предъявленный пример будет считаться номер класса, соответствующий номеру выходного параметра, на котором зафиксировано наибольшее значение сигнала (интерпретатор «победитель забирает все» [41]). В этом случае в качестве оценки работы нейросети предпочтительнее использовать оценку вида «расстояние до множества правильных ответов», предложенную в [41]:

(4.11)

где k – номер «истинного» класса, _i – выходные сигналы сети, i=1..P, P – число выходных сигналов,требуемый уровень отличия «истинного» сигнала от остальных,  – функция расстояния до множества правильных ответов:

,

(4.12)

где _=_k -, _j =_i – текущие выходные сигналы (за исключением _k), переобозначенные таким образом, что _j>_j+1, j=1..P-1, P – число выходных сигналов, l – максимальный номер, такой, что верно неравенство при l<P-1, или равенство l=P-1.