102 Методы обучения нейронных сетей.

Дисциплина «Интеллектуальные информационные системы»

Искусственные нейронные сети обучаются самыми разнообразными методами. К счастью, большинство методов обучения исходят из общих предпосылок и имеет много идентичных характеристик.

Обучение может быть с учителем или без него. Для обучения с учителем нужен «внешний» учитель, который оценивал бы поведение системы и управлял ее последующими модификациями. При обучении без учителя, сеть путем самоорганизации делает требуемые изменения.

Метод обучения Хэбба. Его теория предполагает только локальное взаимодействие между нейронами при отсутствии глобального учителя; следовательно, обучение является неуправляемым. Идея алгоритма выражается следующим равенством:

w_ij(t+1) =w_ij(t) + NET_iNET_j,

где w_ij(t) – сила синапса от нейронаiк нейронуjв момент времениt;NET_i– уровень возбуждения предсинаптического нейрона;NET_j– уровень возбуждения постсинаптического нейрона. Концепция Хэбба отвечает на сложный вопрос, каким образом обучение может проводиться без учителя.

Метод сигнального обучения Хэбба

Метод дифференциального обучения Хэбба

Существует ряд алгоритмов обучения жестко привязанных к архитектуре НС (Сеть Холфилда, Кохонена, многослойные сети). Основным для многослойной сети явл. метод обратного распространения ошибки, основанный на градиентных методах оптимизации.

Градиентные методы:

метод наискорейшего спуска;

модифицированный ParTan;

квазиньютоновский и т.д.

Многими исследователями были предложены улучшения и обобщения основного алгоритма обратного распространения:

метод ускорения сходимости алгоритма обратного распространения;

метод улучшения хар-тик обучения сетей обратного распространения.

Неградиентные методы:

Метод случайной стрельбы (представитель семейства методов Монте-Карло);

Метод покоординатного спуска (псевдоградиентный метод);

Метод случайного поиска (псевдоградиентный метод);

Метод Нелдера-Мида.

Имеется 2 класса обучающих методов: детерминистский и стохастический.

Стохастические методы полезны как для обучения искусственных нейронных сетей, так и для получения выхода от уже обученной сети. Стохастические методы обучения приносят большую пользу, позволяя исключать локальные минимумы в процессе обучения:

Больцмановское обучение

Обучение Коши

Метод искусственной теплоемкости

Самоорганизация: метод динамических ядер.

Также существует множество комбинированных методов.

103 Методы поиска решений в экспертных системах. Логический и эвристический методы поиска решений в экспертных системах.

Дисциплина «Интеллектуальные информационные системы»

Существует 5 методов поиска: поиск как основа функционирования ЭС; Метод эвристического поиска, Формализация задач в пространстве состояний; Метод поиска в глубину и ширину; Представление пространства состояний в виде базы знаний.

Поиск как основа функционирования ЭС. Экспертные системы осуществляютпоискнекоторой цели (т. е. конечного состояния) на основе некоторых исходных посылок и набора фактов (т. е. начального состояния) (рисунок 1).

В ЭС поиск цели выполняется автом-ки, на основе метода ЭС, к-ый: реализует возможность выбора; позволяет выполнять шаги от начального состояния к новым состояниям, более или менее близким к цели. Методы поиска ЭС отыскивают цель, шагая от одного состояния сис к др и распознают ситации, когда они находят цель или попадают в тупик. На промежуточных стадиях вычисляется число с помощью которого программа поиска оценивает свой ход и определяет дальнейшее направление. Для определения следующего шага поиска программа использует два метода: поиск в ширину и поиск в глубину. При поиске в глубину программа полностью исследует сначала один вариант пути, а потом остальные. Как правило сначала исследуется левая ветвь дерева, когда программа заходит в тупик, она возвращается на верх и выбирает следующий вариант пути.

Обычно данный метод используется, когда пути решения от вершины до основания имеют одинаковую длину.

При методе в ширину программа сначала переходит к соседним вершинам, с лева на право (к 1-ой,2-ой,3-ей и т.д), пока не будет найдена цель. В отличии от поиска в глубину, поиск в ширину применяется тогда, когда ветви поиска в дереве имеют разную длину.

Метод эвристического поиска

Эврестический поиск предполагает численное оценивание вершин пространства состояния. Оценка указывает насколько данная вершина перспективна с точки зрения достижения цели.В данном случае поиск начинается с вершины с наибольшей оценкой, т.е. кот является наиболее перспективной. Существует несколько эвристических методов:взбирание на гору». Его принцип:если есть приемлемые варианты выбора, выберете наилучший из них, используя любой критерий рассуждения;если попали в тупик, вернитесь в последнее место, где имеются альтернативные варианты выбора, и сделайте следующий наилучший выбор. Для осуществления эвристического поиска прогр д.обладать базой для осущ-ия выбора.