МІНІСТЕРСТВО ОСВІТИ І НАУКИ, МОЛОДІ ТА СПОРТУ УКРАЇНИ

Державний вищий навчальний заклад

«УЖГОРОДСЬКИЙ НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ»

ФІЗИЧНИЙ ФАКУЛЬТЕТ

Кафедра ТЕІБ

КУРСОВА РОБОТА

з курсу «Інформаційно-комунікаційні системи»

на тему: «Генетичні нейронні мережі прямого та зворотнього

поширення як інформаційно-комунікаційні системи.

Їх застосування та модифікація в БІКС»

Виконав:

Студент 2 курсу VII групи

спец. “Безпека інформаційних і

комунікаційних систем”

Ганич Станіслав Іванович

Науковий керівник:

проф. Мар’ян М.І.

Ужгород – 2015

ЗМІСТ

ЗМІСТ……………………………………………………………………………….…….2

ВСТУП……………………………………………………………………………….……3

1.Історія розвитку нейронних мереж……………………………………………..……..4

2.Нейронні мережі…………………………………………………………………...…...7

2.1 Нейронні мережі, аналогія з мозком…………………………...…………….…..8

2.2 Біологічний нейрон………………………………………………….……….……9

2.3 Штучний нейрон…………………………………………………….………..…..10

3. Навчання генетичних нейронних мереж……………………………….…….….….16

4. Генетичні нейронні мережі прямого поширення……………………………...……18

5. Генетичні нейронні мережі зворотнього поширення……………………… …….19

6. Распізнавання образів і класифікація………………………………….…...………..20

7. Виявлення атак за допогою нейроннх мереж…………………………..………..….21

7.1 Імунні мережі……………………………………………………...…....…….…..22

7.2 Експертні мережі………………………………………….………….…..………22

7.3 Multivariate Adaptive Regression Splines (MARS).…………………..….….….23

7.4 Сигнатурні методи…………………………………………….…………..….….23

7.5 Статистичний аналіз……………………………………………………..….…...23

7.6 Кластерний аналіз……………………………………………………..…….…...24

7.7 Нейронні мережі………………………………………………………..…….….24

7.8 Імунні мережі……………………………………………………………..….…..24

7.9 Експертні системи……………………………………………………..…….….25

8. Класифікація систем виявлення атак………………………………………..… .….25

9.Основи біометричного захисту на основі нейронних мереж………….……… …....27

9.1 Нейронні мережі…………………………………………...………….…..……...27

10. Висновок……………………………………………………….………….…….….…32

11. Список використаних джерел……………………………………………..………....33

12. Додаток 1 (код додатку)……………………………………………………..…….....34

ВСТУП

На даний час у сфері кібернетики звернуто особливу увагу до прогресивних інформаційних технологій на основі штучних нейронних мереж, яка приділяється з боку науковців, інженерів-інформатиків та користувачів-практиків різних сфер діяльності, підтверджується великою кількістю публікацій в наукових та науково-популярних виданнях, високим рівнем представництва на численних спеціалізованих науково-технічних конференціях в різних країнах світу та введенням відповідних рубрик в програми конференцій, присвячених різноманітним проблемам обчислювальної техніки, теорії зв`язку, мультимедійних систем. Є всі підстави стверджувати про досягнення помітних успіхів на шляху використання нейромережевих технологій в наукових дослідженнях, сфері бізнесу, авіації, митній справі.

Якщо початкові дослідження в області нейромереж будувалися на використанні моделей біологічних нейронів У.Маккалоха, У.Пітса та гіпотетичного механізму діяльності головного мозку, то в 80-х роках нейрокомп`ютерна техніка збагатилася і деякими моделями, що мають відповідники в реальних фізичних системах.

Cлід відзначити ту обставину, що відомі нейропарадигми будуються на різнотипних аналогіях, обчислювальних процедурах, евристичних правилах, які підтверджені досвідом та грунтуються на позитивних результатах експериментів. Одночасно, відсутні спільні теоретична база, методологія побудови та навчання нейромереж для різноманітних задач застосування останніх, на основі яких би міг здійснюватися обгрунтований підбір елементів навчальних вибірок, налаштування параметрів. У зв`язку з цим навіть стверджується про назрівання чергової кризи в галузі нейрокомп`ютерної техніки та закінчення нейрокомп`ютерного буму, що розпочався в 1980-х роках.

1. Історія розвитку нейронних мереж

Вивченню людського мозку - тисячі років. З появою сучасної електроніки, почалися спроби апаратного відтворення процесу мислення. Перший крок був зроблений у 1943 р . з виходом статті нейрофізіолога Уоррена Маккалоха (Warren McCulloch) і математика Уолтера Піттса (Walter Pitts) про роботу штучних нейронів і представлення моделі нейронної мережі на електричних схемах. 1949 р . - Опублікована книга Дональда Хебба (Donald Hebb) "Організація поведінки", де досліджено проблематика налаштування синаптичних зв'язків між нейронами. 1950-і рр.. - З'являються програмні моделі штучних нейромереж. Перші роботи проведено Натаніель Рочестером (Nathanial Rochester) з дослідної лабораторії IBM. І хоча подальші реалізації були успішними, ця модель зазнала невдачі, оскільки бурхливе зростання традиційних обчислень залишив у затінку нейронні дослідження. 1956 р . - Дартмутський дослідний інститут штучного інтелекту забезпечив підйом штучного інтелекту, зокрема, нейронних мереж. Стимулювання досліджень штучного інтелекту розділилося на два напрямки: промислові застосування систем штучного інтелекту (експертні системи) та моделювання мозку. 1958 р . - Джон фон Нейман (John fon Neumann) запропонував імітацію простих функцій нейронів з використанням вакуумних трубок. 1959 р . - Бернард Відроу (Bernard Widrow) і марсіан Хофф (Marcian Hoff) розробили моделі ADALINE і MADALINE (Множинні Адаптивні Лінійні Елементи (Multiple ADAptive LINear Elements)). MADALINE діяла, як адаптивний фільтр, що усувають відлуння на телефонних лініях. Ця нейромережа досі в комерційному використанні. Нейробіолог Френк Розенблатт (Frank Rosenblatt) почав роботу над перцептроном. Одношаровий перцептрон був побудований апаратно і вважається класичною нейромережею. Тоді перцептрон використовувався для класифікації вхідних сигналів у один з двох класів. На жаль, одношаровий перцептрон був обмеженим і зазнав критиці у 1969 р ., У книзі Марвіна Мінскі (Marvin Minsky) і Сеймура Пейперта (Seymour Papert) "Перцептрони".

Ранні успіхи, сприяли перебільшення потенціалу нейронних мереж, зокрема в світлі обмеженої на ті часи електроніки. Надмірне сподівання, процвітаюче в академічному та технічному світі, заразила загальну літературу цього часу. Побоювання, що ефект "мислячої машини" відіб'ється на людині весь час підігрівалося письменниками, зокрема, серія книг Азімова про роботів показала наслідки на моральних цінностях людини, у разі можливості інтелектуальних роботів виконувати функції людини. Ці побоювання, об'єднані з невиконаними обіцянками, викликали безліч розчарувань фахівців, поставили під критиці дослідження нейронних мереж. Результатом було припинення фінансування. Період спаду продовжувався до 80-х років.

1982 р . - До відродження інтересу призвело кілька подій. Джон Хопфілд (John Hopfield) представив статтю в національну Академію Наук США. Підхід Хопфілда показав можливості моделювання нейронних мереж на принципі нової архітектури. У той же час у Кіото (Японія) відбулася Об'єднана американо-японська конференція по нейронних мереж, які оголосили досягненням п'ятої генерації. Американські періодичні видання підняли цю історію, акцентуючи, що США можуть залишитися позаду, що привело до зростання фінансування в галузі нейромереж. 1985 р . Американський Інститут Фізики розпочав щорічні зустрічі - "Нейронні мережі для обчислень". 1989 р . - На зустрічі "Нейронні мережі для оборони" Бернард Видра повідомив аудиторії про початок четвертої світової війни, де полем бою є світові ринки та виробництва. 1990 р . - Департамент програм інноваційних досліджень захисту малого бізнесу назвав 16 основних і 13 додаткових тим, де можливе використання нейронних мереж.

Сьогодні, обговорення нейронних мереж відбуваються скрізь. Перспектива їх використання видається досить яскравою, в світлі вирішення нетрадиційних проблем і є ключем до цілої технології. На даний час більшість розробок нейронних мереж принципово працюючі, але можуть існувати процесорні обмеження. Дослідження спрямовані на програмні та апаратні реалізації нейромереж. Компанії працюють над створенням трьох типів нейрочіпів: цифрових, аналогових та оптичних, що обіцяють бути хвилею близького майбутнього.

2. Нейронні мережі

(ШНМ) — математичні моделі, а також їхня програмна та апаратна реалізація, побудовані за принципом функціонування біологічних нейронних мереж — мереж нервових клітин живого організму. Системи, архітектура і принцип дії базується на аналогії з мозком живих істот. Ключовим елементом цих систем виступає штучний нейрон як імітаційна модель нервової клітини мозку — біологічного нейрона. Цей термін виник при вивченні процесів, які відбуваються в мозку, та при спробі змоделювати ці процеси. Першою такою спробою були нейронні мережі Маккалока і Піттса. Як наслідок, після розробки алгоритмів навчання, отримані моделі стали використовуватися в практичних цілях: в задачах прогнозування, для розпізнавання образів, в задачах керування та інші.

ШНМ являють собою систему з'єднаних між собою простих процесорів (штучних нейронів), які взаємодіють. Такі процесори зазвичай достатньо прості, особливо в порівнянні з процесорами, що використовуються в персональних комп'ютерах. Кожен процесор схожої мережі має справу тільки з сигналами, які він періодично отримує, і сигналами, які він періодично посилає іншим процесорам. І тим не менш, будучи з'єднаними в досить велику мережу з керованою взаємодією, такі локально прості процесори разом здатні виконувати достатньо складні завдання. З точки зору машинного навчання, нейронна мережа є окремим випадком методів розпізнавання образів, дискримінантного аналізу, методів кластеризації тощо. З математичної точки зору, навчання нейронних мереж — це багатопараметрична задача нелінійної оптимізації. З точки зору кібернетики, нейронна мережа використовується в задачах адаптивного управління і як алгоритми для робототехніки. З точки зору розвитку обчислювальної техніки та програмування, нейронна мережа — спосіб вирішення проблеми ефективного паралелізму . А з точки зору штучного інтелекту, ШНМ є основою філософської течії коннективізму і основним напрямком в структурному підході з вивчення можливості побудови (моделювання) природного інтелекту за допомогою комп'ютерних алгоритмів. Нейронні мережі не програмуються в звичайному розумінні цього слова, вони навчаються. Можливість навчання — одна з головних переваг нейронних мереж перед традиційними алгоритмами. Технічно навчання полягає в знаходженні коефіцієнтів зв'язків між нейронами. У процесі навчання нейронна мережа здатна виявляти складні залежності між вхідними даними і вихідними, а також виконувати узагальнення. Це означає, що у разі успішного навчання мережа зможе повернути правильний результат на підставі даних, які були відсутні в навчальній вибірці, а також неповних та / або «зашумлених», частково перекручених даних.