3.Джерело неперервних повідомлень
Покладемо,
що ми маємо джерело безперервних
повідомлень
,
що описується щільністю ймовірності
w(x).
Оскільки всі повідомлення описуються функцією з обмеженим спектром, вони можуть бути дискретизовані за часом відповідно до теореми Котельникова й ми можемо передавати не самі повідомлення, а їхнього значення в крапках відліку
Для однозначного відтворення необхідно дотримуватись умови
,
Де 
верхня частота спектра повідомлення,
- частота дискретизації.
В реальних
системах зв'язку
.
Доцільно передавати не всю шкалу значень рівнів сигналів . Для цього крім дискретизації за часом здійснюється квантування за рівнями m:
,
.
Імовірність
влучення значення
в інтервал
.
Тоді ентропія одного відліку квантованого повідомлення
При 
Якщо
,
.
-
диференціальна ентропія, що залежить
від статистичних властивостей джерела,
-
залежить
від кількості рівнів квантування і
визначає технічну похибку цифрових
систем передавання повідомлень, яка не
залежить від статистичних властивостей
повідомлень.
Висновки
В лекції розглянутий сенс терміну «інформація», обґрунтовано введення логарифмічної міри кількості інформації, як міри невизначеності джерела (середньої кількості інформації на одне повідомлення джерела), виведені формули для обчислення ентропії джерел незалежних і залежних дискретних і неперервних повідомлень.
Тестові запитання
1. Якою з формул визначається кількість інформації в дискретному повідомленні?
1)
2)
3)
4)
2. Повідомлення з якою імовірністю передачі містить одну двійкову одиницю інформації (біт)?
1)
2)
3)
4)
3. Якою з формул визначається середня кількість інформації в повідомленні джерела дискретних незалежних повідомлень?
1)
2)
3)
4)
4. Якою з формул визначається ентропія джерела дискретних незалежних повідомлень?
1)
2)
3)
4)
5. Якою з формул визначається ентропія джерела попарно залежних повідомлень?
1)
2)
3)
4)
6. Якою з формул визначається надмірність джерела дискретних повідомлень?
1)
2)
3)
4)
7. Якою
з формул визначається ентропія джерела
неперервних повідомлень?
8. Якою з формул визначається диференціальна ентропія джерела неперервних повідомлень?
9. Чому дорівнює ентропія джерела дискретних рівно імовірних незалежних повідомлень, якщо ємність алфавіту m = 64?
1)
біт
2)
біт
3)
біт
4)
біт
10. Джерело
дискретних незалежних повідомлень
формує 4 повідомлення з апріорними
ймовірностями
;
;
.
Чому дорівнює ентропія джерела
?
Н=1,5 біт
2) Н=1,75 біт
3) Н=2,0 біт
4) Н=2,25 біт
Практичне заняття №1
«Інформаційні характеристики дискретних і когерентних повідомлень»
Мета - з використанням вивченого теоретичного матеріалу навчитися обчислювати кількість інформації, містяться в повідомленнях різної фізичної природи, оцінити ентропію джерел різних дискретних і безперервних повідомлень. Спочатку приводяться приклади рішення різних практичних завдань, потім формуєте умови задач для сасостоятельного рішення, причому числові значення рішеня завдань дано в 10 варіантах.
Приклад 1. Визначити ентропію повідомлення із 6 літер, якщо загальна кількість букв в алфавіті дорівнює 32 і всі повідомлення рівноімовірні.
Розв’язання.
Загальна кількість шестилітерних
повідомлень
.
Використовуючи формулу для визначення ентропії рівноімовірних повідомлень, отримаємо
Приклад 2.
Вимірювана величина x
змінюється
в межах від
до
і розподілена по закону рівної імовірності.
Знайти диференціальну ентропію величини
,
якщо
дорівнює 32 нормованим одиницям.
Розв’язання. Закон рівної імовірності можна аналітично подати у вигляді
Ентропія дорівнює
Приклад 3. Закодувати оптимальним статистичним кодом за схемою Шеннона-Фано ансамбль повідомлень джерела {xi}, якщо повідомлення статистично незалежні та задані апріорні імовірності їх появи на виході джерела p(хі).
p (х1)= 0,1 ;p (х2) = 0,2; p (х3 ) = 0,05; p (х4) = 0,25; p (х5) = 0,1; p(х6) = 0,05; p(х7) = 0,15; p (х8) = 0,1.
Розв’язання. Кодування за методом Шеннона-Фано здійснюється у такий спосіб. Всі повідомлення записуються в таблицю в порядку зменшення їх імовірності. Потім вся сукупність повідомлень розбивається на дві приблизно рівні групи. Всім повідомленням верхньої групи приписується перший кодовий символ “1”, а повідомленням нижньої групи – символ “0”. Потім кожна група аналогічно розбивається на підгрупи за можливістю з однаковими імовірностями, при цьому верхнім підгрупам в обох групах приписується символ “1” (другий символ кодової комбінації), а нижнім – символ “0”. Ця процедура здійснюється доти, доки в кожній підгрупі не залишиться по одному повідомленню. Процес кодування наведений нижче.
Повідомлення |
р (хі) |
Кодування |
Кодова комбінація |
Кількість знаків ni |
I (xi) |
1 |
2 |
3 |
4 |
5 |
6 |
х4 |
0,25 |
11 |
11 |
2 |
2,0 |
х2 |
0,2 |
10 |
10 |
2 |
2,33 |
х7 |
0,15 |
011 |
011 |
3 |
2,745 |
х1 |
0,1 |
010 |
010 |
3 |
3,33 |
х5 |
0,1 |
0011 |
0011 |
4 |
3,33 |
х8 |
0,1 |
0010 |
0010 |
4 |
3,33 |
х3 |
0,05 |
0001 |
0001 |
4 |
4,33 |
х6 |
0,05 |
0000 |
0000 |
4 |
4,33 |
Жодна коротка кодова комбінація не має бути початком більш довгої. Середня довжина кодової комбінації обчислюється за формулою
При оптимальному двійковому кодуванні ентропія
При розв’язанні задачі завжди повинна виконуватись умова
.
Приклад
4. Джерелом
інформації є вимірювальний датчик
випадкового процесу
,
рівномірно розподіленого в межах від
0 до 256 нормованих одиниць. Визначити
кількість інформації, яку отримують в
результаті одного заміру значення цього
випадкового процесу, якщо похибка
вимірювання розподілена по нормальному
закону і середнє квадратичне значення
похибки
Розв’язання. Диференціальна ентропія випадкової величини
біт.
Диференціальна ентропія похибки вимірювання
біт.
Кількість інформації, яку отримують в результаті одного виміру, визначається різницею між ентропією самої величини і ентропією похибки
біт.
Приклад 5.
Повідомлення складені із рівноімовірного
алфавіту, який містить
якісних ознак (тобто можливих елементарних
символів). Визначити, чому дорівнює
кількість символів в прийнятому
повідомленні, якщо відомо, що воно
містить 42 біта інформації, та чому
дорівнює ентропія цього повідомлення.
Розв’язання. Кількість символів n в складному повідомленні визначається з формули
біт.
Тобто
.
Ентропія повідомлення дорівнює ентропії джерела
біт/символ.
Приклад 6.
В повідомленнях, які складаються із
п’яти різних символів, відомі імовірності
їх появи:
,
;
;
;
.
Всього в повідомленні прийнято 40
символів. Визначити кількість інформації
в цьому повідомленні. Визначити кількість
інформації в повідомленні з такою ж
кількістю знаків, якщо символи рівномірні.
Розв’язання. Кількість інформації в повідомленні визначається за формулою
біт.
У випадку, коли символи рівномірні, кількість інформації в повідомленні
біт.
Приклад 7. Визначити обсяг і кількість інформації у тексті «Ще не вмерла України і слава і доля.», переданому стандартним 7-значним телеграфним кодом. Імовірності букв українського алфавіту наведені у додатку 4.
Розв’язання.
Кількість прийнятих символів, включаючи
пробіл,
.
Обсяг інформації
символів.
Кількість інформації:
а) для рівноімовірного алфавіту, який складається із 32 букв (включаючи пробіл і апостроф)
біт;
б) для нерівномірного алфавіту (не враховуючи статистичні зв’язки між буквами і пробіл)
біт.
Приклад 8. Відомо, що одне із М можливих повідомлень, які передаються рівномірним двійковим кодом, містить 3 біти інформації. Визначити, чому дорівнює М.
Розв’язання. Відомо, що кількість біт інформації в повідомленні визначається формулою:
.
Звідси
.
Приклад 9. Алфавіт джерела складається з трьох букв А, В, С. Скласти максимальну кількість повідомлень, комбінуючи по три букви в повідомленні. Яка кількість інформації міститься в одному такому повідомленні?
Розв’язання. Загальна кількість можливих повідомлень дорівнює
,
де m – кількість первинних символів алфавіту;
n – кількість символів в повідомленні;
.
Можливі повідомлення:
AAA BAA CAA
AAB BAB CAB
AAC BAC CAC
ABA BBA CBA
ABB BBB CBB
ABC BBC CBC
ACA BCA CCA
ACB BCB CCB
ACC BCC CCC
Кількість інформації в повідомленні у випадку їх передавання з рівними ймовірностями
біт.