Теорія:

1. Ентропії джерела дискретних незалежних і залежних повідомлень та надати її аналіз.

Ентропія джерела H(A), це – середня кількість інформації в одному повідомленні. Для М незалежних повідомлень обчислюється як математичне сподівання

, де P(a_k)-імовірність появи повідомлення, також у формулі логарифм можемо замінити на власну інформацію: I(a_k) = – log ₂ P(a_k)

Ентропія, як і інформація, завжди додатна й досягає максимального значення

H_max (А) = log₂ M.

Ентропія джерела залежних повідомлень.   Користуючись поняттям умовної ентропії(Умовна ентропія – середня кількість інформації, яку переносить одне повідомлення джерела при залежних повідомленнях), можна отримати вираз для обчислення ентропії Н_п(X) джерела з пам’яттю, яке має алфавіт X. Якщо глибина пам’яті такого джерела дорівнює h, а потужність алфавіту M, то можна вважати, що перед генерацією чергового символу джерело знаходиться в одному з Q=M^h станів, де під станом розуміємо одну з можливих послідовностей попередніх символів довжиною h на його виході.

Для залежних повідомлень обчислюється як (умовна ентропія H (X/s) при умові, що джерело перебуває в s-му стані)

де p(x_i/s) – умовна ймовірність появи символу x_i, якщо джерело перебуває в s-му стані

2. Умовна ентропія двох джерел (А та B) дискретних залежних повідомлень та надати її аналіз.

Умовна ентропія – середня кількість інформації, яку переносить одне повідомлення джерела при залежних повідомленнях. Умовна ентропія двох джерел повідомлень A i B чи B і A, визначається:

Н (A/B) = M (і(а_k/b_k))

Н (B/A) = M (і(b_k/a_k))  [дв.од./пов. (біт/пов.)]

Де спільна кількість інформації в повідомленнях а_k та b_k об’єднаного ансамблю AB двох джерел повідомлень A та B – і(а_k, b_k) чи і(b_k, a_k), визначається:

і(а_k, b_k) = – log ₂ P(а_k, b_k)

і(b_k. a_k) = – log ₂ P(b_k. a_k) [дв.од.]

Умовна ентропія H (X/s) при умові, що джерело перебуває в s-му стані

де p(x_i/s) – умовна ймовірність появи символу x_i, якщо джерело перебуває в s-му стані.

Схема:

1. Навести структурну схему систем електрозв’язку для передачі дискретних повідомлень (пояснити призначення основних блоків).

Джерело інформації формує повідомлення(до них віднос. дискретних символів (дані, телеграфні повідомлення) чи неперервні повідомлення (мовлення, телебачення, результати телевимірювань тощо)), що підлягають передаванню каналом зв’язку. Реальні повідомлення містять надлишковість, і для їхнього передавання в цифровому вигляді необхідне істотне збільшення пропускної здатності каналу. Для усунення значної частини надлишковості й узгодження джерела інформації з цифровою системою передавання використовується кодер джерела. Кодер разом з декодером утворюють кодек джерела. Неперервний канал зв'язку містить у собі лінію зв'язку, передавач і приймач сигналів. У залежності від типу лінії зв'язку (волоконно-оптичний кабель чи кабель з мідними жилами, простір між передавальною і приймальною антенами при використанні радіозв'язку і т. д.) структура приймально-передавальних пристроїв змінюється. Відмінність прийнятого сигналу від переданого зумовлена дією завад і спотворень у каналі зв’язку. У модуляторі формуються сигнали-переносники, форми яких повинні задовольняти вимогам до завадостійкості, смуги займаних частот, швидкості передавання та стійкості до спотворень у лінії зв'язку. Джерело й одержувач повідомлень оперують, як правило, з двійковими символами, тоді як часто в каналах використовують недвійкові (багатопозіційні) ансамблі сигналів. У цьому разі узгодження первинного сигналу з каналом зв’язку є також функцією модема, до складу якого входить як модулятор, так і демодулятор.

Задачі

1. Джерело видає три дискретні повідомлення a1, a2 та a3 з імовірностями – Р(а1) = 0,25 та Р(а2) = 0,12. Тривалості видачі повідомлень 10 мс, 15 мс та 20 мс відповідно. Обчислити кількість інформації в кожному повідомленні, ентропію, продуктивність і надмірність джерела

2. Знайти кількість інформації в слові ентропія. Імовірності літер українського змістовного тексту надані в табл. ___.

Теоретичні з викладками

3. Спільна ентропія двох джерел (а та b) дискретних залежних повідомлень та надати її аналіз.

Середня кількість інформації об’єднаного ансамблю AB двох джерел повідомлень A та B характеризується умовною, спільною та взаємною ентропіями.

Спільна ентропія – середня кількість інформації, яку переносять повідомлення джерел A та B з врахуванням статистичної залежності між ними.

Спільна ентропія об’єднаного ансамблю AB двох джерел повідомлень A та B, визначається:

Нсп (AB) = Н(A) + Нум (B/A) = Н(B) + Нум (A/B)  [дв.од./пов. (біт/пов.)]

4. Взаємна інформація двох джерел (а та b) дискретних залежних повідомлень. Основні властивості.

Взаємна ентропія об’єднаного ансамблю AB двох джерел повідомлень показує середню кількість інформації, яку можна отримати про джерело А, спостерігаючи джерело В.

Взаємна ентропія об’єднаного ансамблю AB двох джерел повідомлень A та B, визначається:

Нвз (A, B) = Н(A) – Нум (A/B) = Н(B) – Нум (B/A)   [дв.од./пов. (біт/пов.)]

Продуктивність об’єднаного ансамблю AB двох джерел повідомлень A та B, визначається:

Rдж (A,B) = Нсп (A,B) /Тср [дв.од./с (біт/с)]

Швидкість передачі інформації між двома джерелами повідомлень A та B, визначається:

 

R (A→B) = Нвз (A, B) /Тср [дв.од./с (біт/с)]

Схемні з викладками

2 Навести структурну або функціональну схему кодера та декодера ікм. Пояснити принцип роботи.

Особливістю цих методів є те, що кожний відлік представляється цифровим сигналом незалежно від інших відліків. Схема, що відображає передавання відліків при ІКМ, наведена на рис. 2.

Основний параметр квантувача – число рівнів квантування L. При рівномірному квантуванні діапазон значень b від –b_max до b_max розбивається на L – 1 інтервалів величиною

b = 2b_max /(L – 1), (2)

яка називається кроком квантування. На рис. 3 показана розбивка при L = 8. Дискретні значення b_i відповідають серединам інтервалів. Індекс і приймає значення 0, 1, 2, , 0,5L – 1. Дискретні значення визначаються b_i = ib. При квантуванні кожен відлік b(kT_д) округляється до найближчого дискретного значення b_i, а на вихід квантувача надходить ціле число i(kT_д). Представлення відліку b(kT_д) дискретним значенням b_i вносить похибку

_кв(kT_д) = i(kT_д)b – b(kT_д), (3)

яка називається шумом квантування.

У кодері, що входить до складу кодера ІКМ (рис. 2), числа i(kT_д) представляються заданим двійковим кодом. Довжина коду

n = log₂L. (4)

Цифровий сигнал на виході кодера b_ц(t) має швидкість

R = nf_д. (5)

Декодер з цифрового сигналу b_ц(t) формує числа i(kT_д), за якими відновлюються квантовані відліки: . З формули (3) видно, що відліки відновлюються з похибками _кв(kT_д). Середній квадрат похибки квантування (середня потужність шуму квантування) визначається кроком квантування

,

а відношення сигнал/шум квантування

, (6)

де K_А – коефіцієнт амплітуди аналогового сигналу.

Широко використовуються методи ІКМ з нерівномірним квантуванням: в області великих значень b кроки квантування більші і навпаки. Це еквівалентно нелінійному перетворенню відліків з наступним рівномірним квантуванням. За рахунок такого перетворення зменшується K_А і зростає _кв при незмінному числі L – формула (6), або, зберігаючи значення _кв, можна зменшити число L, довжину коду n і швидкість цифрового сигналу R – формули (4) і (5).