МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ

Івано-Франківський національний технічний

університет нафти і газу

Кафедра комп’ютерних технологій в системах управління і автоматики

О.Г.Малько

теорія інформації

конспект лЕкцій

Для студентів спеціальності 6.091401

«Системи управління та автоматики»

Рекомендовано методичною радою університету.

Івано-Франківськ

2009

МВ 02070855 - 00-2009

Малько О.Г. Теорія інформації: Конспект лекцій. Івано- Франківськ: Полум’я, 2009.– 84 с.

Конспект лекцій складений згідно з програмою курсу “Теорія інформації ” для студентів спеціальності “Системи управління та автоматики”

Рецензент: канд. техн. наук, доцент кафедри “Комп’ютерних технологій в системах управління та автоматики” Олійник А.П.

ЗМІСТ

1 вступ 5

2 Основні поняття теорії інформації 6

2.1 Загальні положення 6

2.2 Кругообертання інформації 9

2.3 Класифікація інформації 11

2.4 Структурні перетворення інформації 15

2.5 Фази усунення надлишковості інформації 17

2.6 Контрольні питання 18

3 Інформаційна метрика 19

3.1 Якісні і кількісні оцінки інформації 19

3.2 Структурні міри інформації 20

3.2.1 Загальна характеристика структурної метрики 20

3.2.2 Геометрична міра інформації 20

3.2.3 Комбінаторна міра інформації 21

3.2.4 Адитивна міра (міра Хартлі) 25

3.2.5 Специфіка структурної оцінки кількості інформації 28

3.2.6 Інформаційна ємність 29

3.3 Статистичні міри інформації 33

3.3.1 Відповідність між ймовірністю і інформацією 33

3.3.2 Ентропія як міра невизначеності 37

3.3.3 Ентропія ансамблю (безумовна ентропія) 39

3.3.4 Ентропія об’єднання, умовна ентропія 45

3.3.5 Кількість інформації як міра зняття невизначеності 62

3.4 Кількість інформації і її надлишковість 66

3.5 Оцінка якості виміру н контролю 70

3.6 Семантичні міри інформації 71

3.6.1 Поняття семиотика 71

3.6.2 Змістовність інформації 73

3.6.3 Доцільність інформації 73

3.6.4 Динамічна ентропія 75

3.6.5 Істотність інформації 76

3.7 Контрольні питання 77

4 ХАРАКТЕРИСТИКИ ДИСКРЕТНИХ ДЖЕРЕЛ ІНФОРМАЦІЇ 79

4.1 Продуктивність дискретного джерела та швидкість передачі інформації 79

4.2 Інформаційні втрати при передачі інформації по дискретному каналу 80

4.3 Пропускна здатність дискретного каналу 82

4.4 Теорема Шеннона 83

4.5 Контрольні питання 87

5 ХАРАКТЕРИСТИКИ НЕПЕРЕРВНИХ ДЖЕРЕЛ ІНФОРМАЦІЇ 89

5.1 Квантування сигналів 89

5.2 Інформаційні втрати при дискретизації неперервних джерел 93

5.3 Продуктивність неперервного джерела та швидкість передачі інформації 95

5.4 Пропускна здатність неперервного каналу 97

5.5 Контрольні питання 97

6 Кодування інформації 99

6.1 Загальні поняття і визначення 99

6.2 Кодування як процес представлення інформації в цифровому вигляді 104

6.3 Ефективне кодування 107

6.4 Кодування інформації для каналу з завадами 115

6.4.1 Загальні поняття теорії завадостійкого кодування 115

6.4.2 Різновиди завадостійких код 116

6.4.3 Загальні принципи використання надлишковості 117

6.4.4 Кодова відстань 120

6.5 Контрольні питання 127

1вступ

Теорія інформації – це розділ кібернетики, де за допомогою математичних методів вивчаються способи вимірювання кількості інформації, що міститься у будь-яких повідомленнях, способи кодування для економної і надійної передачі повідомлень по каналах зв'язку з завадами.

Курс теорії інформації об'єднує такі теоретичні напрями, як кількісна оцінка інформації, кодування повідомлень, їх стиснення, оцінка ефективності та завадостійкості передачі кодованих повідомлень.

Одним з головних завдань теорії інформації є максимальне використання потенційних можливостей каналів зв'язку на основі оптимального кодування джерела повідомлення та його дальшого завадостійкого кодування.

Теорія інформації за своєю природою дуже близька до математичних дисциплін; тому як апарат дослідження в ній застосовуються теорія скінчених полів, лінійна алгебра; комбінаторика, теорія матриць, теорія ймовірностей, та математична статистика.

Без розвитку теорії інформації та впровадження її в життя практично неможливо створення складних систем керування супутниками Землі та ракетами, систем і мереж зв'язку та передачі даних, складних ЕОМ та інформаційно-обчислювальних комплексів тощо.

Засвоєння матеріалу курсу теорії інформації є необхідним для подальшого оволодіння знаннями в галузі збирання, передавання, перетворення, оброблення, накопичення та зберігання інформації, проектування та розроблення інформаційних систем будь-якого спрямування.

Інтерес до теорії інформації, а також до технічних засобів реалізації її положень зростатиме зі збільшенням обсягів потоків обміну інформацією. Ця тенденція відслідковується в усіх галузях науки та техніки. Провадиться багато досліджень щодо розробки нових класів кодів, способів захисту інформації від несанкціонованих втручань у інформаційні потоки, вдосконалення способів і засобів її кодування та декодування.

2Основні поняття теорії інформації

2.1Загальні положення

В загальному діяльність людей полягає у обробці матеріалів, енергії і інформації. Відповідно отримали розвиток наукові і технічні дисципліни, що відображають питання технології, енергетики і інформатики. Теорія інформації і інформаційна техніка є порівняно новими галузями, що отримали стрімкий розвиток на етапах розробки і всебічного застосування електронних обчислювальних машин (ЕОМ) і автоматизованих систем, управління (АСУ).

Питання технології і енергетики інтенсивно розвиваються і продовжують грати важливу роль в період інформаційної революції, де кожен період характеризується новим, вищим рівнем науки і техніки. Ілюстрацією може бути еволюція математики, метрології і зброї, показана в таблиці 1.1. У ній умовно виділені періоди технології, енергетики і інформатики, що впливають на методи і засоби відповідних областей.

Таблиця 1.1 Вплив періодів технології, енергетики і інформатики на різні галузі

Галузі науки і техніки	Період технології	Період енергетики	Період інформатики
Математика	Математика предметів і Землі	Математика руху і енергетичних процесів	Математика структури, поведінка та мислення
Виміри	Вимір геометричних розмірів, ваги, твердості	Вимір теплових, електричних, магнітних величин і енергетичних характеристик	Вимір повідомлень, змісту, емоцій і міри організації
Промисловість	Машини-знаряддя, пристосування, верстати	машини-двигуни, теплотехніка, електротехніка	Машини-автомати, системи спостереження, обчислення, управління
Військова справа	Холодна і метальна зброя	Гармати, ракети, атомна і лазерна зброя	Система сповіщення, засоби інформаційної і психологічної боротьби

Не дивлячись на те, що інформатика є наймолодшою наукою, вона вже тепер знаходить домінуюче застосування у найрізноманітніших областях теорії і практики.

По відношенню до кібернетики інформаційна наука і техніка займають підлегле положення, оскільки, окрім чисто інформаційних процесів (збір, передача, переробка, зберігання і представлення інформації), в кібернетиці розглядаються об'єкти, цілі, загальні технологічні процеси, оптимізація управління, зворотні зв'язки і так далі.

У ряді дисциплін (дослідження операцій, системотехніка, адміністративне управління) інформаційна наука і техніка займають одне з базових положенні. Тут теорія і практика інформації використовуються як одна з їх істотних частин разом з робочими операціями, речовинними і енергетичними системами, питаннями надійності, організації, стратегії і тому подібне.

До інформаційної техніки відносяться засоби, що служать для сприйняття, підготовки, передачі, переробки, зберігання і представлення інформації, що надходить від людини, природи, машини, взагалі від якого-небудь об'єкту спостереження і управління.

Інформаційні системи відрізняються від інших природних або штучних (технічних) систем тим, що в них присутні органи і зв'язки спостереження або управління, процеси кругообертання інформації, сигнальні форми відображення речовинних або енергетичних явищ. Строго кажучи, інформаційні системи завжди бувають накладені на інші системи, де вони можуть бути представлені технічними засобами або людьми.

Наприклад, інформаційна система старовинного корабля складається з людей (дозорні, сигнальники, вістові, боцмани, лоцмани), а сучасного корабля – з автоматичних пристроїв передачі, обробки даних і управління.

Інформація виникає тоді, коли встановлюються деякі загальні властивості конкретних речей і явищ, тому під інформацією можна розуміти виділене єство, характеристику цих речей і явищ.

Слово «інформація» (з латинського) позначає повідомлення, інформування про що-небудь. Проте таке тлумачення не може служити визначенням поняття «інформації».

Є безліч визначень поняття інформації від найбільш загального філософського (інформація є віддзеркалення реального світу) до найбільш вузького практичного (інформація є всі відомості, які є об'єктом зберігання, передачі і перетворення).

Інформації має модельну сутність реальних об’єктів, тобто відображає їх єство в тій мірі, в якій це необхідно для практичних цілей дослідження.

Таким чином, під інформацією слід розуміти не самі предмети і процеси, а їх суттєві і показні характеристики, виділене єство явищ матеріального світу. Мається на увазі не самі предмети і процеси, а їх відображення у вигляді чисел, формул, описів, креслень, символів, образів і тому подібних абстрактних характеристик.

Сама по собі інформація може бути віднесена до області абстрактних категорій, подібних, наприклад, математичним формулам. Проте реалізується вона завжди в матеріально-енергетичній формі тобто у вигляді сигналів. Схема утворення інформаційного сигналу показана на рис.1.1.

Рисунок 1.1 – Схема утворення інформаційного сигналу

З передачею і обробкою інформації пов'язані дії будь-якого автоматичного пристрою, поведінка живої істоти, творча діяльність людини, економічні і соціальні перетворення в суспільстві і саме життя. Науку в цілому можна розглядати як складну, таку, що розвивається інформаційну систему, створену людиною.

Як поняття енергії привело до єдиної і прогресивної точки зору на фізичні явища природи і техніки, так і поняття інформації виявляє якісні і кількісні сторони сигнально-розумових та контрольно-керуючих процесів,.

Якщо матерія (речовина) і енергія порівняно повно вивчені, то закони отримання і перетворення інформації на даний момент ще є недостатньо дослідженою областю, що може мати багато несподіваних проявів.

У теоретичних основах інформації розглядаються найбільш загальні питання: поняття інформації, вимір інформації, принципи кодування і модуляції; теорія сприйняття, передачі і представлення інформації.