1.6. Рекурентні нейронні мережі

1.6.1. Загальні положення

До рекурентних відносять НМ в яких вхідна інформація передається між нейронами не тільки в напрямку вхід-вихід, але і в зворотньому напрямку [2, 4, 29, 34, 35, 40, 68]. Для цього в рекурентних НМ використовуються зворотні зв'язки між нейронами. Завдяки зворотнім зв'язкам нейрони можуть повторно виконувати свої функції. Тим самим інформація багаторазово проходить через НМ. Фрагмент рекурентної НМ показаний на рис.1.13.

Рис.1.13 Фрагмент рекурентної НМ

Основою перевагою рекурентних НМ є динамічність та ітераційність обробки даних, що в перспективі повинно позитивно вплинути на узагальнюючі та обчислювальні можливості. Однак потенційна нестійкість та недостатня дослідженість НМ довільної архітектури із зворотніми зв'язками є серйозними перешкодами для їх широкого застосування. Нестійкість НМ полягає в постійній зміні стану нейронів без виникнення стаціонарного стану мережі. Наслідком нестійкості може бути як колапс процесу навчання, так і не визначеність вихідної інформації в процесі розпізнавання невідомого образу. Широкого розповсюдження набули рекурсивні НМ типу асоціативної пам'яті, базовою архітектурою яких є мережа Хопфілда. До відомих типів асоціативних НМ відносяться також мережі Коско та Хеммінга, деякі модифікації якої не мають зворотніх зв'язків, а тому не відносяться до рекурсивних мереж. Крім класичних асоціативних мереж Хопфілда, Хеммінга, та Коско заслуговує на увагу рекурсивна автоассоціативна мережа (RAAM  Recursive Autoassociative Memory), яку можна вважати розвитком мережі Джордано і простої рекурентної мережі (SRN  Simple Recurrent Network) та подібна до неї семантична нейронна мережа [29, 34]. Специфічним призначенням RAAM та семантичної нейронної мережі є розпізнавання семантики тексту, що значною мірою вплинуло на їх архітектуру та методи навчання. Відзначимо, що з точки зору наявності зворотніх зв'язків між нейронами мережі типу карти Кохонена також відносяться до рекурентних. Але, по причині значної відмінності в архітектурі, сфері застосування, методів навчання та теоретичній базі НМ типу карти Кохонена розглядаються окремо від рекурентних. Крім того, не розглядаються малодосліджені НМ та застарілі типи мереж з обмеженими можливостями (лінійний асоціатор).

1.6.2. Класичні асоціативні нейроні мережі

НМ типу Хопфілда, Хемнінга та Коско застосовуються для відновлення за допомогою набору певних асоціативних ознак образів, збережених в пам'яті мережі у вигляді множини векторних пар [61]:

,

(1.82)

де X,Y  множини асоційованих між собою образів, що зберігаються в пам'яті мережі, Р  кількість асоційованих образів.

Для кожної асоційованої пари <x_i,y_i> образ x_i є асоціацією для відновлення образу y_i. Розрізняють [40] три класи асоційованої пам'яті:

1. Гетероасоціативна. Вхідний вектор х по наперед визначеним правилам співвідноситься з деяким вектором x_i, який вже зберігається в пам'яті НМ у вигляді (1.82). Після цього вектор х асоціюється з вектором y_i. Цей клас пам'яті використовується для відновлення одного із збрігаємих образів.

2. Автоасоціативна. Для кожної асоційованої пари (1.82) x_i=y_i. Така пам'ять використовується для відновлення повного вектору по його частині.

3. Інтерполятивна. Для вхідного вектору х по наперед визначеним правилам розраховується:

,

(1.83)

де x_i  еталонний образ, що зберігається в пам'яті НМ, _i  відмінність між вхідним та еталонними образами.

Розрахунок вектору y асоційованого з х реалізується так:

,

(1.84)

де f()  деяка функція.

Цей класс пам'яті використовується для моделювання вихідного вектору, що відрізняється від еталонної асоціації.