11

НАЦІОНАЛЬНИЙ АВІАЦІЙНИЙ УНІВЕРСИТЕТ

Теорія інформації та кодування

Лекція № 2.1

Вимірювання інформації та швидкість її передачі

2012

Вступ

Наразі розпочинаємо вивчення другого модуля дисципліни “Теорія інформації та кодування”. На другий модуль відведено 53 годин, із яких 18 год. – лекції, 16 год. – лабораторні роботи, 16 год. – самостійна робота, 3 год. – індивідуальне завдання. Модуль складається із двох тем: Тема 2.1 “Технології роботи з інформацією. Кодування в інформаційно – телекомунікаційних системах” – 10 год. лекційні та 10 год. лабораторні занятті; Тема 2.2 “Пропускна спроможність каналів” – 6 год. лекційні та 4 год. лабораторні занятті. Вивчення модуля завершується МКР № 2 – 2 год.

Згадаємо також, що у складі дисципліни у цьому семестрі є курсова робота, здати яку на перевірку слід до 5 грудня, а захист її відбудеться з 12 грудня.

Цей модуль передбачає вивчення шляхів оптимізації параметрів телекомунікаційних мереж та деяких із існуючих інформаційних технологій.

Лекція № 2.1 − “Вимірювання інформації та швидкість її передачі”. В лекції будуть розглянуті наступні учбові питання:

1. Вимірювання інформації в побуті 3

2. Вимірювання інформації в техніці 3

3. Вимірювання інформації в теорії інформації (інформація, як знята невизначеність). Кількість інформації по Хартлі 4

4. Кількість інформації по Шенону. Ентропія, як міра невизначеності інформації, та її властивості 7

5. Швидкість передачі і пропускна спроможність каналу 9

Кожен елементарний сигнал може мати К різних значень. Величина К залежить від способів модуляції.

1. Структурна схема системи передачі інформації

Для організації правильного приймання інформації необхідно чітко знати кількість інформації, яку переносить один символ, повідомлення чи будь-який інший інформаційний об‘єкт. Отже, необхідно уміти вимірювати таку інформацію. При цьому до вимірювання інформації в побуті, техніці і в теорії інформації застосовуються різні підходи.

1. Вимірювання інформації в побуті

Отже, з погляду на інформацію, як на новизну, ми не можемо оцінити кількість інформації, що міститься в науковому відкритті, новій теорії суспільного розвитку.

2. Вимірювання інформації в техніці

Довжина повідомлення.

У обчислювальній техніці застосовуються дві стандартні одиниці вимірювання: біт (двійковий знак двійкового алфавіту {0,1})  мінімальна одиниця вимірювання інформації і байт  (який дорівнює восьми бітам, є одним символом, наприклад, при введенні цього символу з клавіатури ПЕОМ передається 1 байт інформації).

Інформаційний об’єм повідомлення (інформаційна місткість повідомлення)  кількість інформації в повідомленні, зміряне в бітах, байтах або похідних величинах.

3. Вимірювання інформації в теорії інформації (інформація, як знята невизначеність). Кількість інформації по Хартлі

У простому випадку вибір одного з двох повідомлень (“так” чи “ні”, 0 або 1) приймають за одиницю інформації. Вона названа “біт” або двійкова цифра (скорочення від англ. binary digit – двійковий розряд). Питання цінності цієї інформації для одержувача  це вже з іншої області.

У теорії інформації під кількістю інформації розуміють міру зменшення невизначеності знання.

У теорії інформації кількістю інформації називають також числову характеристику сигналу, яка не залежить від його форми і змісту і характеризує невизначеність, яка зникає після отримання повідомлення у вигляді даного сигналу. В цьому випадку кількість інформації залежить від імовірності отримання повідомлення про ту або іншу подію.

Якщо використовуються дискретні сигнали, що характеризуються довжиною повідомлення n і основою системи числення К (як правило, К = 2), то повинна виконуватися умова: , де M – кількість повідомлень.

Можна дійти висновку, що – кількість інформації.

Хай є два джерела сигналу:

Тоді

Але для сумарної дожини двох повідомлень

кількість повідомлень складе

.

Потрібно вибрати таку міру, яка була б пропорційна числу елементарних сигналів в повідомленні, тобто приріст кількості інформації складав би dІ = Kdn.

По Хартлі:

,

де M – кількість рівноімовірних повідомлень; n – кількість елементарних сигналів в повідомленні. Тоді М = Кⁿ.

З формули виходить, що невизначеність (а, отже і кількість інформації) в системі тим вище, чим більше M – кількість повідомлень.

Найчастіше зустрічаються наступні випадки:

1. а = 2, , [I] = 1 біт (скорочення від англ. binary digit – двійковий розряд);

2. а = 10, І = lgM = nlgK, [I] = 1 Хартлі, чи більш розповсюджено – діт (така одиниця дорівнює 3,32193 біта);

3. а = е, І = lnM = nlnK, [I] = 1 ніт (натуральна), така одиниця дорівнює 1,44269 біта.

Звернемо увагу на те, що окрім основних одиниць вимірювання кількості інформації часто використовуються і їх похідні такі, наприклад, як байт (8 біт) кілобіт, кілобайт, мегабіт, мегабайт та інші.

Причому на відміну від похідних одиниць, які застосовуються в обчислювальній техніці для виміру, наприклад ємності запам’ятовуючих пристроїв де “кіло” означає 2¹⁰, “мега” – 2²⁰ та т. ін., в теорії інформації та кодування, в тому числі і при передачі інформації “кіло” означає 10³, “мега” – 10⁶ та т. ін.

Формула Хартлі одержана при наступних обмеженнях:

1. Відсутність смислової цінності інформації.

2. M можливих станів є рівноімовірними, тоді із попереднього витікає, що кількість інформації при появі одного повідомлення:

де р = 1/M – імовірність появи одного повідомлення.

3. Між елементарними сигналами відсутня кореляція, і всі значення рівноімовірні. Це обмеження виходить з того, що для передачі повідомлень використовуються всі можливі сигнали. Рівна імовірність всіх К значень сигналів виходить з формули

,

де p = 1/K – імовірність появи будь-якого значення сигналу з К можливих.

Наприклад, при киданні двох граль­них кісток є наборів (повідомлень) результатів експерименту з серед­нюю імовірністю кожне (по кількості граней). Тому кількість інформації біта. Такий же результат можна отримати, якщо роз­глядати 36 рівно імовірних результатів кидання двох кісток при : біта.