ТИК_П2_БойцоваМП_321Б
.DOCXПрактична робота 2
Завдання 2.5.1
Якщо є чотири рівно ймовірних події, то ймовірність кожної з них дорівнює 1/4.
Таким чином, ентропія буде максимальною:
біт/повідомлення
Завдання 2.5.2
Тоді абсолютна надмірність джерела дорівнює 0.
Обчислимо відносну надмірність:
X = 1 – 1.8464/2 = 1 – 0.9232 = 0.0768 біт\повідомлення
Абсолютна надмірність:
∆Н = 2 – 1.8464 = 0.1536 біт\повідомлення
Завдання 2.5.3
Х3 х3 = 1
1 Х2 х2 = 01
0 1 х1 = 001
!х3 х1 х4 = 000
0 1
!х2 0
!х1=х4
Завдання 2.5.4
Для задачі 1
I(х1) = -log2(0.2) = 2.3219 біт
I(x2) = -log2(0.3) = 1.73697 біт
I(x3) = -log2(0.4) = 1.3219 біт
I(x4) = -log2(0.1) = 3.3219 біт
Для задачі 3
I(x1) = 3 біт
(кодується 3-знаковою комбінацією)
I(x2) = 2 біт
I(x3) = 1 біт
I(x4) = 3 біт
Завдання 2.5.5
Обчислимо середню довжину як математичне сподівання:
0.2*3 + 0.3*2 + 0.4 + 0.1*3 = 0.6 + 0.6 + 0.4 + 0.3 = 1.9 біт/символ
Н(Х)< n<Hmax
Завдання 2.5.6
Обчислимо продуктивність джерела:
R=
R = 1.8464/1.9*10^(-8) =97181000 біт/с = 11863 Кбайт/с = 11.86 Мбайт/с
Завдання 2.5.7
X1
0.2 X2
0.8 0.375
!x1 x3
0.625 0.8
!x2 0.2
!x3=x4
Розрахунки наведено нижче:
P1(x2) = 0.3 : 0.8 = 0.375
P1(x3) = 0.4 : 0.8 = 0.5
P1(x4) = 0.1 : 0.8 = 0.125
Перевірка: 0.375 + 0.5 + 0.125 = 1
P2(x3) = 0.5 : 0.625 = 0.8
P2(x4) = 0.125 : 0.625 = 0.2
Перевірка: 0.8 + 0.2 = 1
Перевірка правильності розкладу (рухаємось за графом):
Р(х4) = 0.8*0.625*0.2 = 0.1
Р(х3) = 0.8*0.625*0.8 = 0.4
Р(х2) = 0.8*0.375 = 0.3
Р(х1) = 0.2
Обчислимо ентропію (рухаємось за графом):
H = біт/повідомлення
Таким чином, ентропія не змінюється , якщо розкласти процедуру вибору подій на декілька етапів. Ми бачимо, що ентропія з першою задачі приблизно дорівнює ентропії, яку було обчислено шляхом розкладання вибору подій.