2. Конкурентні нейронні мережі («Шар і мапа Кохонена»)

Мета роботи: ознайомитися з принципами функціонування та навчання конкурентних мереж. Об’єкт дослідження: шар і мапа Кохонена

Теми для опрацювання

1. Нейронні мережі із самоорганізацією (шар і мапа Кохонена).

Постановка задачі (згідно з індивідуальним завданням):

1. Кластеризація векторів на основі алгоритму самоорганізації мап.

Алгоритм самоорганізації мап можна описати таким чином.

Постановка задачі: кластерний аналіз (або класифікація без учителя). Нехай задано навчальну вибірку у вигляді даних входу: A = {p¹, ..., p^Q}, де – вектор вхідних даних з елементами pⁱ_j  . На основі початкових даних визначити таке розбиття множини A на задану кількість кластерів S (S  N, S > 1): A_k, k = 1, ..., S, яке забезпечує екстремум деякої цільової функції серед усіх розбиттів. Як цільову функцію будемо розглядати функцію вигляду де _kw = [_kw₁, ..., _kw_R]^T є вектором у просторі  ^R, функція – функція, реалізована у вигляді НМ, яка описує перетворення вхідних даних у вихід. Розглянемо алгоритм.

Крок 1. Ініціалізація. Як початкові значення векторів ваги обираємо випадкові значення (при цьому амплітуду значень рекомендується брати малою) або значення з доступної множини вхідних векторів . Зазвичай, ініціалазіція відбувається за допомогою присвоєння ваговим векторам малих значень, сформованих генератором випадкових чисел.

Крок 2. Вибір вхідного вектора. Вхідний вектор р, який має розмірність R, обираємо із вхідного простору з визначеною ймовірністю.

Крок 3. Визначення нейрона-переможця. На кроці t визначаємо значення i(р) нейрона-переможця, використовуючи критерій мінімуму відстані Евкліда (максимального значення скалярного добутку ,):

Крок 4. Корекція. Значення векторів ваги всіх нейронів модифікуємо за формулою де , t = 0, 1, …, де ₂ – деяка часова константа. Повертаємося до кроку 2 та продовжуємо обчислення доти, поки в мапі ознак не перестануть спостерігатися сутєві зміни (тобто ).

Нехай d_ji – латеральна відстань між нейроном-переможцем (i) та вторинно активованими нейронами (j), h_ji – функцієя околу - топологічний окіл із центром в i-му нейроні-переможці, який складається із множини вторинно активованих нейронів (j), що взаємодіють із ним. Тоді можна припустити, що топологічний окіл h_ji є унімодальною функцією від латеральної відстані d_ji і задовольняє такі умови:

1) h_ji є симетричною відносно точки максимуму, яка визначається умовою d_ji = 0 (максимум функції досягається в нейроні-переможці);

2) амплітуда топологічного околу h_ji монотонно зменшується зі збільшенням латеральної відстані d_ji, прямуючи до нуля за d_ji   (необхідна умова збіжності).

Типовою функцією, яка задовольняє ці вимоги, є функція Гаусса:

(11.4)

де параметр  – ефективна ширина топологічного околу (рис. 11.12), що визначає рівень, до якого нейрони із топологічного околу нейрона-переможця беруть участь у процесі навчання. У дискретному вихідному просторі латеральну відстань d_ji можна визначити таким чином: для одновимірної гратки d_ji = |j–i|; для двовимірної гратки , де вектор r_j визначає положення активованого j-го нейрона, а r_i – i-го нейрона-переможця.

Рис. 2.1. Функція Гаусса топологічного околу

Важлива властивість самоорганізованого алгоритму навчання полягає у зменшенні розміру топологічного околу з часом і виконується за рахунок поступового зменшення ефективної ширини  функції топологічного околу hji.

Останню найчастіше обчислюють за формулою , t = 1, 2, …, де ₀ – початкове значення  ; ₁ – деяка часова константа. Залежність топологічного околу від часу визначають формулою

, t = 0, 1, … . (11.5)

Зі збільшенням кількості ітерацій t ширина (t) експоненціально зменшується, а тому відповідно зменшується й топологічний окіл.

Порядок виконання роботи

1. Вивчити теоретичний матеріал.

2. Послідовно виконати такі завдання до практичної роботи:

А. Спроектувати класифікатор у вигляді мапи Кохоннена. Перевірити мережу на здатність розв’язувати задачу класифікації векторів.