3.5. Нейрокомпьютеры. Персептрон Розенблатта

Формальный нейрон и персептрон Розенблатта. В 1957 г. Ф.Розенблаттом было предложено устройство, названное «Персептрон». В основу его была положена идея объединения искусственных нейронов в сеть, наподобие того, как это наблюдается в природе. Идея искусственного («формального») нейрона была предложена еще в 1943 г. учеными У.Маккаллоком и У.Питсом. Нейрон в их представлении – это вычислительная структура с N входами и одним выходом (который далее может ветвиться) в котором входные сигналы умножаются на некоторую величину, затем суммируются и в зависимости от величины этой суммы нейрон приходит (не приходит) в возбужденное состояние. Он возбуждается, если сумма превышает некоторый порог и нет, если этот порог не превышен. Графически его можно изобразить так (рис. 3.9)

Здесь x_i – величина входного сигнала, а w_i – коэффициент умножения. Входы нейрона называются синапсами, выход – аксоном Реакция нейрона (с условиями срабатывания) выглядит следующим образом:

r =

Обычно принято считать, что R₀ = 0, R₁ = 1, в качестве значения порога нередко используют T = 0. Соединение выходов одних нейронов со входами других формирует нейронную сеть.

Простейший персептрон Розенблатта для классификации двух образов – это нейронная сеть, представленная на рис.3.10. Он состоит из трех слоев.

1. Сетчатки S (системы входных рецепторов произвольным образом связанных с нейронами слоя A).

2. Ассоциативного слоя A в котором происходит суммирование сигналов рецепторов. Нейроны ассоциативного слоя срабатывают при условии превышения суммарным сигналом порогового значения.

3. Решающего элемента R, который переходит в возбужденное состояние, если образ принадлежит классу W₁ и остается в невозбужденном состоянии, если на вход персептрона подан образ из класса W₂.

Рассмотрим как работает данная сеть.

Алгоритм персептрона. Принцип подкрепления-наказания. Работа схемы 1 строится следующим образом.

1. Элементы сетчатки S формируют выходные сигналы и подают их на элементы ассоциативного слоя.

2. В ассоциативном слое сигналы рецепторов суммируются

3. Если сумма превышает заданный порог, нейрон передает сигнал x_i на решающий элемент R.

4. Выходные сигналы нейронов ассоциативного слоя суммируются с весами w_i.

5. Если сумма превышает установленный порог, то нейрон R возбуждается , если нет - остается в невозбужденном состоянии (образ принадлежит классу W₂).

Перед тем, как «запустить персептрон в работу» он соответствующим образом настраивается (обучается). Алгоритм обучения строится по принципу подкрепления-наказания и обычно называется алгоритмом персептрона.

Пусть заданы два обучающих множества, представляющие классы W₁ и W₂ соответственно. Пусть w(1) – начальный вектор весов, задаваемый произвольно (например, все нули). В таком случае k-й шаг обучения выглядит следующим образом.

1. Если вектор образа x  W₁, а скалярное произведение w(k)x(k)  T = 0, (т.е. решающий элемент классифицировал образ как x  W₂), то веса w(k) корректируются в сторону увеличения:

w(k+1) = w(k) + cx(k),

где с – произвольная константа, единая для всех x_i.

2. Если образ x  W₂, а скалярное произведение w(k)x(k)  T = 0, (т.е. решающий элемент классифицировал образ как x  W₁), то веса w(k) корректируются в сторону уменьшения:

w(k+1) = w(k)  cx(k).

3. Если образ классифицирован правильно, то веса не меняются:

w(k+1) = w(k).

Обратим внимание, что корректировка происходит всегда, если произведение w(k)x(k) = 0.

Итак, настройка состоит в корректировании или не-корректировании весов в зависимости от того, правильно или нет классифицирован образ. Рассматривая коррекцию весов как «наказание» за неверную классификацию, а отсутствие коррекции, как «подкрепление» за правильный ответ, всю процедуру назвали методом подкрепления-наказания. Это – основной метод обучения нейронных сетей. В теории персептронов доказано, что данный алгоритм сходится за конечное число шагов.

Разберем пример (рис. 3.11). Пусть имеются две группы образов, принадлежащих классам W₁ и W₂. Это (0, 0), (0,1) W₁ и (1, 0), (1,1) W₂.

Перейдем к просмотру и классификации образов. Процедура происходит циклически по всем образам до тех пор, пока сеть не начнет правильно классифицировать все представленные для обучения объекты.

Перед началом настройки перейдем к пополненным векторам образов: x₁ = (0, 0, 1), x₂ = (0,1,1), x₃ = (1, 0, 1), x₄ = (1, 1, 1). Константу c примем равной 1.

Итерация 1.

Зададим w(0) = (0, 0, 0).

В этом случае скалярное произведение для образа x₁ = (0, 0, 1)  W_1. равно

w(0)x₁ = 0*0 + 0*0 + 0*1 = 0.

Произведение равно 0. «Наказываем» сеть корректировкой весов по п.1 алгоритма:

w(1) = w(0) + x₁= (0, 0, 1).

Предъявляем образ x₂ = (0, 1, 1)  W₁. Скалярное произведение

w(1)x₂ = 0*0 + 0*1 + 1*1 = 1.

Образ классифицирован правильно. «Подкрепляем» сеть, сохраняя вектор w без изменения.

Предъявляем образ x₃ = (1, 0, 1)  W₂. Скалярное произведение

w(1)x₃ = 0*1 + 0*0 + 1*1 = 1.

Образ из класса W₂ классифицирован как образ класса W₁. «Наказываем» сеть корректировкой весов по п.2 алгоритма:

w(2) = w(1)  x₃ = (1, 0, 0)

Предъявляем образ x₄ = (1, 1, 1)  W₂. Скалярное произведение

w(2)x₄ = 1*1 + 0*1 + 0*1 = 1.

Образ классифицирован правильно. Поскольку на данной итерации происходила корректировка весов, переходим к итерации 2.

Итерация 2.

Предъявляем образ x₁ = (0, 0, 1)  W₁. Скалярное произведение

w(2)x₁ = 1*0 + 0*0 + 0*1 = 0.

Произведение равно 0. Корректируем вектор весов:

w(3) = w(2) + x₁ = (1, 0, 1)

Предъявляем образ x₂ = (0, 1, 1)  W₁. Скалярное произведение

w(3)x₂ = 1*0 + 0*1 + 1*1 = 1.

Образ классифицирован правильно. Корректировку весов не производим

Предъявляем образ x₃ = (1, 0, 1)  W₂. Скалярное произведение

w(3)x₃ = 1*1 + 0*0 + 1*1 = 0.

Произведение равно 0. Выполняем корректировку:

w(4) = w(3)  x₃ = (2, 0, 0).

Предъявляем образ x₄ = (1, 1, 1)  W₂. Скалярное произведение

w(4)x₄ = 2*1 + 0*1 + 0*1 = 2.

Образ классифицирован правильно. Поскольку на данной итерации происходила корректировка весов, переходим к итерации 3.

Итерация 3.

Предъявляем образ x₁ = (0, 0, 1)  W₁. Скалярное произведение

w(4)x₁ = 2*0 + 0*0 + 0*1 = 0.

Произведение равно 0. Корректируем вектор весов:

w(5) = w(4) + x₁ = (2, 0, 1).

Предъявляем образ x₂ = (0, 1, 1)  W₁. Скалярное произведение

w(5)x₂ = 2*0 + 0*1 + 1*1 = 1.

Образ классифицирован правильно. Корректировку весов не производим

Предъявляем образ x₃ = (1, 0, 1)  W₁. Скалярное произведение

w(5)x₂ = 2*1 + 0*1 + 1*1 = 1.

Образ классифицирован правильно. Корректировку весов не производим

Предъявляем образ x₄ = (1, 1, 1)  W₂. Скалярное произведение

w(5)x₄ = 2*1 + 0*1 + 1*1 = 1.

Образ классифицирован правильно. Поскольку на данной итерации происходила корректировка весов, переходим к итерации 4.

Предъявляем образ x₁ = (0, 0, 1)  W₁. Скалярное произведение

w(5)x₁ = 2*0 + 0*0 + 1*1 = 1.

Образ классифицирован правильно. Корректировку весов не производим.

Поскольку все образы x₁, x₂, x₃, x₄ с вектором w(5) = (2, 0, 1) были классифицированы правильно, обучение (настройку сети) заканчиваем. Решающей является функция d(x) = 2x₁ + 1 = 0 (рис. 3.12).

Распознавание в случае нескольких классов. Отличие персептронов для распознавания нескольких классов состоит в наличии нескольких решающих нейронов, каждый из которых отвечает своему классу (рис. 3.13).

Идеальный случай – когда при предъявлении образа срабатывает единственный выходной нейрон, отвечающий требуемому классу. Однако обычно это не так. В этом случае выходные сигналы r_i формируются так, чтобы они могли различаться по величине и специальное сравнивающее устройство устанавливает сигнал какого из распознающих нейронов сильнее. Это соответствует поиску максимума скалярных произведений: d₁ (x) = w₁x, d₂ (x) = w₂x, …, d_M (x) = w_Mx. Покрепление-наказание в этом случае происходит по схеме:

Если при предъявлении образа класса W_i для всех i ≠ j выполняется условия d_i (x) > d_j (x), веса не меняются. Если это не так, то производится их корректировка по правилу:

w_i(k+1) = w_i(k) + cx(k), для класса W_i;

w_j(k+1) = w_j(k)  cx(k), если d_i (x)  d_j (x);

w_l(k+1) = w_l(k) , если d_i (x) > d_l (x).

Рассмотренный выше перцептрон не обладает универсальностью. Например, он не способен разделить на два класса образы на рис. 3.14 (объясните почему).

Однако идеи, заложенные Розенблаттом, оказались настолько плодотворны, что породили целое «движение», которое можно назвать нейрокомпьютингом. Это особое направление в информатике, В отличие от обычных компьютеров, нейрокомпьютеры решают задачи не после написания алгоритма их решения с последующим введением его в память ЭВМ для исполнения, а после обучения соответствующей нейросети. Обучение же, как уже ясно, состоит в настройке весов нейронов по обучающим выборкам до достижения удовлетворительного результата. На сегодня помимо перцептрона Розенблатта (фактически, первого нейрокомпьютера) известны многослойные перцептроны, самоорганизующиеся сети (когнитроны Фукусимы), сети Хопфилда, сети, способные обучаться без учителя (сети Кохонена) и т.д.

Выделяют два класса задач, решаемых нейрокомпьютерами  это задачи классификации и задачи прогнозирования (предсказания). Задача классификации уже рассмотрена. Задачи предсказания фактически являются задачами построения регрессионной зависимости выходных данных от входных. Нейронные сети могут эффективно строить сильно нелинейные регрессионные зависимости. В принципе, одна нейронная сеть может одновременно решать обе эти задачи. Однако разнотипные задачи лучше решать отдельными нейронными сетями. При этом, как показывает опыт, для решения большинства практических задач хватает сетей, содержащих не более чем несколько десятков нейронов и даже меньше.

Поскольку с помощью нейросетей решаются главным образом неформализованные задачи, пользователя интересует в первую очередь не построение понятной и теоретически обоснованной зависимости, а получение удовлетворительно работающего устройства-классификатора или устройства-предсказателя. Тем не менее от нейросети часто ждут «логической прозрачности». Логически прозрачной называют сеть, по структуре которой легко можно сформировать понятный пользователю алгоритм решения задачи. Если это не соблюдено, пользователь может испытывать определенное недоверие и разочарование в сети. Для этого пользуются разнообразными приемами т.н. «упрощения сети».

Более подробно с проблемами нейрокомпьютинга можно познакомиться в специальной литературе.