1 Міра кількості інформації

Джерело повідомлення характеризується статистичною схемою

а1	а2	а3	а4	а5
0.4	0.23	0.32	0.03	0.02

Визначити кількість інформації у кожному із символів, знайти ентропію та надмірність джерела.

Отже маємо: .

Кількість інформації в повідомленні за формулою Шеннона[1]:

, (1.1)

де k – кількість символів у повідомленні.

Кількість інформації у кожному із символів (тобто ):

(1.2)

Підставивши числові значення, отримаємо:

[біт]

[біт]

[біт]

[біт]

[біт]

Кількість інформації, що приходиться на один елемент повідомлення, називається питомою інформативністю, чи ентропією. Ентропія характеризує джерело повідомлення з заданим алфавітом і є мірою невизначеності, яка мається в ансамблі повідомлень цього джерела [1].

Ентропія визначається виразом:

(1.3)

Підставивши чисельні значення у (1.3) отримаємо:

[біт]

Ентропія реальних повідомлень найчастіше виявляється менше ентропії відповідного йому оптимального повідомлення. При однаковому числі елементів кількість інформації в реальному повідомленні буде менше, ніж в оптимальному. Щоб описати цю різницю вводиться характеристика – надмірність повідомлень.

Абсолютна надмірність повідомлення характеризується різницею між максимально можливою кількістю інформації та ентропією реального повідомлення:

, (1.4)

а відносна надмірність відповідно:

(1.5)

З основних властивостей ентропії відомо, що

. (1.6)

Отже, підставляючи числові значення у (1.6), (1.4), (1.5), отримаємо:

• абсолютна надмірність джерела: [біт],

• відносна надмірність джерела: .

2 Інтервал кореляції

Визначити інтервал кореляції стаціонарного випадкового процесу з енергетичним спектром (рис. 2.1):

Визначення інтервалу кореляції τ₀ проводиться з використанням поняття ефективної смуги частот повідомлення ∆ω_еф, яка визначається як основа прямокутника з висотою, рівною максимальному значенню спектральної щільності S_x(ω)_max і площею, рівною площі під кривою спектральної щільності повідомлення [1]:

(2.1)

(2.2)

За принципом дискретизації Желєзнова інтервал кореляції:

(2.3)

Інтервал кореляції реальних повідомлень є обмеженою величиною, тому що внаслідок кінцевої тривалості їх значення в будь-який момент залежить тільки від деякого відрізка минулого обмеженої тривалості (рис. 2.2):

(2.4)

де – кореляційна функція:

τ

τ₀

B_x(τ)

0

B_x(0)

Рисунок 2.2

Повна потужність випадкового процесу у точці [3]:

(2.6)

3 Оптимальні коди

Для джерела повідомлень:

а1	а2	а3	а4	а5
0.4	0.23	0.32	0.03	0.02

побудувати код, який забезпечує надмірність, меншу 0,5%.

Для випадку, коли відсутній статистичний зв'язок між символами повідомлення, Шенноном і Фано розроблена методика побудови коду, близького до оптимального, і який дає оптимальний результат у тому випадку, коли імовірності p(x_i) виражаються негативними ступенями двійки. В оптимальному коді, який називають кодом Шеннона-Фано, використовуються символи “ 0 “ і “ | “, тобто оптимальний код є бінарним ( ).

Правило побудови коду Шеннона-Фано:

1. Символи повідомлення розташовуються в порядку зменьшення їхньої імовірності і розбиваються на дві групи так, щоб суми імовірностей у групах були приблизно однакові.

2. В якості першого символу коду всім буквам, що ввійшли в першу групу, приписується одиниця, а буквам другої групи – нуль.

3. Кожна з отриманих груп знову розбивається на дві підгрупи приблизно з однаковими імовірностями.

4. Буквам перших підгруп в якості наступного символу коду приписується одиниця, а до букв другої підгрупи – нуль і т.д.

Розбивка на підгрупи проводиться доти, поки в кожній підгрупі не залишиться по одній букві [1].

Процедура кодування представлена в табл. 3.1.

Таблиця 3.1

Букви	Імовірності	Підгрупи	Кодові комбінації
а1	0.4		|
а3	0.32		0|
а2	0.23		00|
а4	0.03		000|
а5	0.02		0000

Оцінимо ефективність методу Шеннона–Фано, визначивши ентропію отриманого коду. Для цього визначимо імовірності появи символів коду:

(3.1)

де - число символів у кодовій комбінації, що відповідає букві ; - загальне число символів у цій комбінації.

Імовірність появи символу “ | ”:

Оскільки в коді Шеннона-Фано використовуються тільки два символи “ 0 ” і “ | ”, то імовірність появи символу “ 0 ”:

.

Ентропія отриманого коду визначається за формулою (1.3):

(3.2)

Для отриманих значеннь імовірностей ентропія дорівнює:

[біт]

Отриманий результат показує, що імовірності появи символів коду приблизно однакові, а ентропія отриманого коду майже дорівнює максимальній [біт],

За формулою (1.5) надмірність, яку забезпечує отриманий код, визначиться так:

.

Отриманий код близький до оптимального і задовольняє умові, поставленій у завданні: D < 0.5 %.