Системы искусственного интеллекта.-5

71

определенного порога. Веса могут быть положительными или отрицательными,

что соответствует возбуждению или торможению нейрона. В. Маккаллок и В.

Питтс показали, что такое функционирование сети нейронов позволяет выпол-

нять вычисления, также как компьютеры. Особенность сети в том, что операции могут выполняться параллельно.

Реальные нейроны имеют отличие от нейронов, предложенных Маккаллоком и Питтсом:

не являются пороговыми устройствами, а имеют нелинейное соотношение между входом и выходом,

вырабатывают последовательность (фазовые соотношения), а не одиночный импульс,

не все нейроны имеют одинаковую задержку импульсов,

На первом этапе (40-50 годы) развития нейронных сетей канадский ученый Д.

Хебб сформулировал постулат о том, что если два нейрона являются взаимно активными, то их взаимодействие усиливается.

Второй этап развития (50-60 годы) называют золотым веком развития нейрон-

ных сетей. Ф. Розенблат рассматривал специальный тип нейронных сетей,

названный ими персептрон, как элемент биологической сенсорной информации.

Это простейший элемент, состоящий из трех слоев: входного и скрытого и вы-

ходного, и нейроны выходного слоя принимают сигналы от входного. Ф. Розен-

блат разработал итеративный алгоритм определения весов, с помощью которого входной образ преобразуется в требуемый выходной и доказал сходимость это-

го алгоритма.

Третий этап развития, получивший название «застойный», начался в конце

1960-х гг.), после опубликования работы М. Минского и С. Паперта

“Perceptrons: an introduction to computational geometry)” (1969 г.), в которой было доказано, что существует ряд задач (например, “исключающее ИЛИ”), которые

72

не могут быть решены однослойным персептроном. После этой работы развитие нейронных сетей замедлилось на 10 лет. Ф. Розенблат разработал многослойные сети, но отсутствие алгоритма их обучения не позволило развиваться дальше.

Только некоторые ученые, и среди них С. Гроссберг и Т. Кохонен, продолжали исследования, опубликовав около 150 работ.

Четвертый этап соответствует середине 80-тых годов. Появился алгоритм определения весов в многослойных сетях со скрытыми слоями (Back propogation), предложенный в 1974 г. П. Вербозом, но развитый только в 1985 г. Появ-

ление этого алгоритма оказало существенное влияние на дальнейшее развитие нейросетевых технологий.

Проблема стабильности-пластичности является одной из самых сложных и трудно решаемых задач при построении искусственных систем, моделирующих представление знаний. Некоторые нейронные системы не приспособлены к за-

поминанию и отделению новых образов от старых. Поэтому разработаны АРТ и

RBF сети, положившие начало новым парадигмам, близким к функционирова-

нию человеческого мозга.

Биологическая модель нейрона. Структура искусственных нейронных сетей создана по результатам изучения человеческого мозга, хотя сходство между ними и незначительно. Искусственные нейронные сети имеют такие аналогич-

ные мозгу свойства, как способность обучаться на опыте, основанном на знани-

ях, делать абстрактные умозаключения и совершать ошибки, что является более характерным для человеческой мысли, чем для созданных человеком компью-

теров.

Большая часть мозга остается непознанной. Основные исследования направле-

ны на идентификации функций мозга. Нейрон оказался сложнее, чем представ-

лялось ранее, и до сих пор нет полного понимания процесса его функциониро-

73

вания. Но все-таки мозг может быть использован в качестве модели для разви-

тия искусственных нейронных сетей, на его основе созданы структуры нейрон-

ных сетей, решающих интеллектуальные задачи.

По оценкам, человеческий мозг содержит свыше тысячи миллиардов вычисли-

тельных элементов, называемых нейронами, связанные сотнями триллионов нервных нитей, называемых синапсами. Эта сеть нейронов отвечает за все явле-

ния, которые называются мыслями, эмоциями, познанием, а также за соверше-

ние множества сенсомоторных и автономных функций.

Мозг является основным потребителем энергии тела. Включая в себя лишь 2%

массы тела, в состоянии покоя он потребляет приблизительно 20% кислорода тела. Даже во время сна расходование энергии продолжается. Потребляя при-

мерно 20 Вт, мозг с энергетической точки зрения очень эффективен. Компьюте-

ры с одной долей вычислительных возможностей мозга потребляют сотни и ты-

сячи ватт и требуют сложных систем для охлаждения [2].

Нейрон является основным строительным блоком нервной системы и содержит клетки, подобные другим клеткам тела; однако определенные отличия выпол-

няют вычислительные функции и функции связи внутри мозга. Нейрон состоит из: тела клетки, синапсов, дендритов и аксонов (рис. 4.1).

Функционально дендриты получают сигналы от других клеток через контакты,

называемые синапсами. Затем сигналы проходят в тело клетки, где они сумми-

руются с другими такими же сигналами. Если суммарный сигнал в течение ко-

роткого промежутка времени является достаточно большим, клетка возбуждает-

ся, вырабатывая в аксоне импульс, который передается на следующие клетки.

Поэтому нейрон может находиться в двух состояниях: возбужденном или не-

возбужденном. Эта схема функционирования, хотя и упрощенная, объясняет большинство известных процессов мозга.

74

Рис. 4.1- Компоненты нейрона

Классификация нейронных сетей. Нейронные сети различают по структуре сети (связей между нейронами), особенностям модели нейрона, особенностям способа обучения сети [3].

По структуре нейронные сети можно разделить на неполносвязные (или слоистые) и полносвязные, со случайными и регулярными связями, с симмет-

ричными и несимметричными связями (рис. 4.2).

Неполносвязные нейронные сети (описываемые неполносвязным ориен-

тированным графом и обычно называемые перцептронами) подразделяются на однослойные (простейшие перцептроны) и многослойные, с прямыми, пере-

крестными и обратными связями. В нейронных сетях с прямыми связями нейроны j-го слоя по входам могут соединяться только с нейронами i-х слоев,

где j > i, т. е. с нейронами нижележащих слоев. В нейронных сетях с перекрест-

ными связями допускаются связи внутри одного слоя, т. е. вышеприведенное неравенство заменяется на j > = i. В нейронных сетях с обратными связями ис-

76

съем с выходов выходных нейронов;

съем с синапсов выходных нейронов;

съем в виде значений весов синапсов выходных нейронов;

аддитивный съем с синапсов выходных нейронов.

По организации обучения разделяют обучение нейронных сетей с учите-

лем и без учителя. При обучении с учителем предполагается, что есть внешняя среда, которая предоставляет обучающие примеры (значения входов и соответ-

ствующие им значения выходов) на этапе обучения или оценивает правильность функционирования нейронной сети и в соответствии со своими критериями ме-

няет состояние нейронной сети или поощряет (наказывает) нейронную сеть, за-

пуская тем самым механизм изменения ее состояния. Под состоянием нейрон-

ной сети, которое может изменяться, обычно понимается:

веса синапсов нейронов (карта весов – map) (коннекционистский под-

ход);

веса синапсов и пороги нейронов (обычно в этом случае порог является более легко изменяемым параметром, чем веса синапсов);

установление новых связей между нейронами (свойство биологических нейронов устанавливать новые связи и ликвидировать старые называется пла-

стичностью).

По способу обучения разделяют обучение по входам и по выходам. При обучении по входам обучающий пример представляет собой только вектор входных сигналов, а при обучении по выходам в него входит и вектор выход-

ных сигналов, соответствующий входному вектору.

По способу предъявления примеров различают предъявление одиночных примеров и «страницы» примеров. В первом случае изменение состояния нейронной сети (обучение) происходит после предъявления каждого примера.

77

Во втором – после предъявления «страницы» (множества) примеров на основе анализа сразу их всех.

Полносвязные сети представляют сети, в которых имеются все возможные связи: многослойные или слоистые. Сеть разбивается на слои, где каждый слой содержит совокупность нейронов с едиными входными сигналами. Слои нуме-

руются слева направо, начиная с 0.

Для реализации хотя бы некоторых возможностей мозга необходимо воссо-

здать его архитектурные особенности. Коннекционистская машина или нейрон-

ная сеть является высокосвязной сетью простых процессоров (искусственных нейронов), каждый из которых имеет много входов и много выходов.

В искусственных нейронных сетях каждый нейрон непрерывно обновляет свое состояние порождением значения активации, которая является функцией вход-

ных сигналов и внутренних параметров нейрона. Активация используется для генерации выхода через некоторую функцию.

Характеристики искусственных нейронных сетей (ИНС) следующие:

1.Синаптические коэффициенты нейронов (веса) настраиваются посред-

ством подачи на входы обучающих векторов и изменением весов таким об-

разом, чтобы нейрон выдавал требуемые выходные сигналы. Таким обра-

зом, нейрон является адаптивной, а не заранее запрограммированной систе-

мой.

2.Работу НС целесообразно представлять как эволюцию динамической си-

стемы и описывать системой дифференциальных уравнений.

3.Нейронные сети устойчивы к шумам в сигналах и отказам компонентов

(нейронов и синапсов). Отказ компонента не влечет отказа всей ИНС в це-

лом, а лишь несколько ухудшает ее характеристики.

79

ное суммирование и нелинейное преобразование, используя для этого актива-

ционную функцию (функции активации могут быть разными, наиболее распро-

страненные – линейная, пороговая и сигмойда), аргументом которой будет ре-

зультат суммирования минус пороговое значение. Это значение определяет уровень сигнала, на который нейрон будет реагировать.

Искусственные нейронные сети могут менять свое поведение в зависимости от внешней среды, чем они и интересны. После предъявления входных сигналов,

они самонастраиваются, чтобы обеспечивать требуемую реакцию. Отклик сети после обучения может быть до некоторой степени нечувствителен к небольшим изменениям входных сигналов. Эта внутренне способность видеть образ сквозь шум и искажения важна для распознавания образов, позволяющая преодолеть требование строгой точности, предъявляемое к компьютером, в нечеткой среде,.

Искусственная нейронная сеть обобщает автоматически благодаря своей струк-

туре, а не использованием «человеческого интеллекта» в форме специально написанных компьютерных программ.

Искусственные нейронные сети обладают способностью извлекать сущность из входных сигналов.

Пример. Сеть может быть обучена на последовательность искаженных версий буквы «А». После соответствующего обучения предъявление такого искажен-

ного примера приведет к тому, что сеть породит букву совершенной формы, т.е.

сеть может порождать то, что никогда не видела - новые знания.

Предложенный в 1986 г. Д. Румельхардом и другими учеными алгоритм обратного распространения ошибки (BP) является эффективным способом обу-

чения нейронной сети произвольной структуры.

Нейронные сети могут реализовываться как программно, так и аппаратно.

Постепенно направление нейрокибернетики преобразовалось в нейрокомпь-

ютинг (шестое поколение компьютеров), базирующийся на нейронных сетях

80

[9]. Сравнительный анализ последовательных компьютеров фон Неймана и биологической нейронной системы, являющейся прообразом нейрокомпьютера,

представлен в таблице 4.1.

Таблица 4.1- сравнение вычислительной структуры фон Неймана с нейронной сетью