- •Структурна схема системи передачі інформації
- •Вимірювання інформації в побуті
- •Вимірювання інформації в техніці
- •Вимірювання інформації в теорії інформації (інформація, як знята невизначеність). Кількість інформації по Хартлі
- •Кількість інформації по Шенону. Ентропія, як міра невизначеності інформації, та її властивості
- •Швидкість передачі і пропускна спроможність каналу
Кількість інформації по Шенону. Ентропія, як міра невизначеності інформації, та її властивості
Хай заданий деякий ансамбль подій, тобто перелік подій з вказівкою імовірності появи кожної з них.
Верхній рядок містить номери подій, що поступають, нижня – імовірність їх появи.
Якщо застосувати формулу Хартлі щодо кількості інформації, яка одержується при реалізації і-ої події, то вона дорівнює
Кількість інформації, яку несе в середньому одна подія можна розглядати як математичне очікування
Одержаний вираз називається ентропією чи ентропією джерела:
Букви алфавіту О, Е, А зустрічаються в тексті порівняно частіше, ніж букви Щ, И, ‘.
В цьому випадку середня кількість інформації, що доводиться на одне повідомлення джерела, визначається як математичне очікування: сума добутків імовірності повідомлень на “статистичну” кількість інформації в них:
(1)
У теорії інформації ентропія характеризує невизначеність ситуації до передачі повідомлення, оскільки заздалегідь невідомо, яке з повідомлень джерела буде передано.
Ентропія має наступні властивості:
1) вона завжди позитивна, оскільки ;
2) при рівноімовірних повідомленнях ентропія є максимальною і дорівнює , коли ;
3) вона дорівнює нулю лише у тому випадку, коли всі імовірності дорівнюють нулю, за винятком однієї, яка дорівнює одиниці;
4) ентропія декількох незалежних джерел дорівнює сумі ентропії цих джерел;
5) ентропія збільшується при збільшенні числа подій (кидок гральної кістки має ентропію більше, ніж кидок монети);
6) кількість переданої інформації можна збільшити не лише за рахунок збільшення числа повідомлень, але і шляхом підвищення ентропії джерела, тобто інформаційній ємності його повідомлень.
Розглянуті джерела незалежних дискретних повідомлень є простим типом джерел (їх також називають джерелами без пам’яті). У реальних умовах картина значно ускладнюється із-за наявності статистичних зв’язків між повідомленнями (випадок джерел залежних повідомлень (джерел з пам’яттю)). Прикладом може бути звичайний текст, де поява тієї і іншої букви залежить від попередніх буквених поєднань. Так, наприклад, після поєднання ШТ імовірність дотримання явних букв А, Е, І більше, ніж приголосних.
Статистичний зв’язок очікуваного повідомлення з попереднім кількісно оцінюється спільною імовірністю або умовною імовірністю , яка виражає імовірність появи повідомлення , за умови, що до цього було передано повідомлення . Кількість інформації, що міститься в повідомленні за умови, що відоме попереднє повідомлення , буде дорівнювати: . Середня кількість інформації при цьому визначається умовною ентропією, яка обчислюється як математичне очікування інформації по всіх можливих повідомленнях і :
(2)
Якщо джерело створює послідовність повідомлень, що мають статистичний зв’язок, і характер цього зв’язку відомий, то частина повідомлень є надмірною, оскільки вона може бути відновлена по відомих статистичних зв’язках.
,
де: , – ентропії джерел з надмірністю і без надмірності відповідно; відношення називається коефіцієнтом стиснення.
Для української мови , для окремих букв знаходиться в межах від 4,05 до 2 біт, тобто надмірність складає близько 50%.