9.4.2. Адаптивний алгоритм навчання

Даний алгоритм запропоновано і досліджено Р. Уільямсом і Д. Ціпсером [95] та використовує обчислення градієнта в момент часу к на основі часток похідних станів нейронів, обчислених у мо­мент часу (k - 1), тобто

У цьому випадку обсяг необхідної пам’яті істотно зменшуєть­ся й залежить тільки від кількості нейронів у мережі й кількості настроюваних параметрів. Хоча й тут необхідно брати до уваги всі попередні стани мережі, у цьому алгоритмі відбувається облік інформації лише про один останній такт, тобто складові в z(k-1) і х(k) мають розмірності n х 1 й N х 1 відповідно.

Під час використання даного алгоритму в реальному часі при­пускають, що

що й враховується в потактовій корекції ваг.

Контрольні запитання

1. У чому відмінність ДРМ від мережі Гопфілда?

2. Які існують різновиди ДРМ? У чому відмінність мережі Елмана від ме­режі Джордана?

3. Яким чином здійснюється навчання ДРМ?

10. Мережа векторного квантування

Багато завдань розпізнавання мовних сигналів, зображень тощо пов’язані з необхідністю зберігання, обробки й передачі великих масивів даних, що вимагає значних обчислювальних ресурсів і витрат часу. Якщо масиви даних різняться незначною мірою, то істотної економії як обчислювальних засобів, так і необхідного для розв’язання задачі часу можна досягти, використовуючи стиснен­ня даних або спеціальні методи їхнього кодування. При цьому дані можуть бути, наприклад, згруповані в деякі класи, яким привлас­нюється свій код або індекс. Образи можна також розбити на дея­кі кластери, визначивши для кожного з них свого типового пред­ставника (опорного представника, центра кластера). Досить добре розроблені методи стиснення даних вимагають для своєї реалізації наявності статистичної інформації (щільності розподілу) про до­сліджувані процеси; застосування ефективних методів кодування можливе, якщо відома частота появи образів. В умовах, коли така інформація відсутня, найбільш ефективними є ШНМ векторного квантування (vector quantion, VQ), розроблені й досліджені Т. Когоненом [8-14].

10.1. Структура мережі векторного квантування

Під векторним квантуванням (ВК) розуміють процес перетворення деякого вектора х з множини А є у векторw з множини В є , деМ < N. Інакше кажучи, множина векторів х розмірності N х 1 розбивається на кінцеве число класів М, М < N, кожному з яких привласнюється свій код (призначається опорний представник) .Множина всіхутворитькодову множину (кодову кни­гу) класифікатора.

Векторне квантування здійснюється за допомогою методу «най­ближчого сусіда», причому під «найближчим» розуміється век­тор, що задовольняє різним вимогам. Якщо як такий вибирається вектор, що знаходиться від даного на мінімальній евклідовій від­стані, тобто на відстані, що мінімізує вартісний функціонал

маємо класифікатор, що називається у літературі Voronoi-класи- фікатор. Приклад такої класифікації, розбивання всієї множини вхідних векторів на 7 класів (М = 7), наведено на рис. 10.1. Тут зі­рочками позначені вхідні вектори, а кільцями — відповідні опорні представники

При поданні вхідного образу, що підлягає розпізнаванню, видається представник того класу, до якого відноситьсяМе­жі між класами утворять медіатриси між опорними представ­никами.

Рис. 10.1. Розбивання множини вхідних образів на класи

У мережі ВК реалізовано принцип «переможець отримує все» (winner takes all), коли за право подання будь-якого вхідного об­разу (вектора) змагаються всі нейрони вихідного шару. Нейрон, ваговий вектор якого найближчий до вхідного образу, є пере­можцем.

Конкуруючі нейрони Когонена мають як власні зворотні зв’яз­ки, так і латеральні, причому перші служать для посилення влас­ного сигналу нейрона, а другі — для придушення впливу сигналів, що надходять від інших нейронів.

Кожен нейрон вхідного шару з’єднаний з усіма нейронами шару векторного квантування (VQ-шару). Сила зв’язку визначається відповідною вагою. Нарис. 10.2 — вектор ваг j-го нейрона Когонена.

Рис. 10.2. Мережа векторного квантування

Динаміка мережі описується такими диференціальними рів­няннями:

де — вхідні сигнали;— вага зв’язку міжі-м та j-м нейронами; — вага зв’язку міжі-м й j-м нейронами; — множи­на нейронів, пов’язаних з j-м нейроном;— нелінійний член, що враховує ефекти насичення й зміщення.

У рівнянні (10.2) вагові коефіцієнти є тими, що настроюють­ся, ваги ж зворотних зв’язківзадаються й у процесі роботи ме­режі не змінюються.