Задание

1. Источник сообщений с алфавитом объемом М = 4 характеризуется следующими вероятностями:

• априорными вероятностями появления сигнала

  Аi	А1	А2	А3	А4
  P(Аi)	0,3	0,15	0,28	0,27

• условными вероятностями появления сигнала

Аi\Аj	А1	А2	А3	А4
А1	0,21	0.5	0.08	0.21
А2	0.14	0.3	0.34	0.22
А3	0.15	0.75	0.1	0
А4	0.32	0.12	0.18	0.38

Определить энтропию источника дискретных сообщений.

2. Источник сообщений с объемом алфавита М = 4 характеризуется следующими вероятностями:

• априорными вероятностями появления сигнала

  Xi	X1	X2	X3	X4
  P(Xi)	0,3	0,15	0,28	0,27

• условными вероятностями появления пары сигналов

Xi\Хj	Х1	Х2	Х3	Х4
X1	0,21	0.5	0.08	0.21
X2	0.14	0.3	0.34	0.22
X3	0.15	0.75	0.1	0
X4	0.32	0.12	0.18	0.38

Определить энтропию источника дискретных сообщений.

3. Задан источник сообщений с алфавитом М = 4, который характеризуется следующими вероятностями:

• априорными вероятностями появления сигнала

  Xi	X1	X2	X3	X4
  P(Xi)	0,2	0,1	0,2	0,5

• условными вероятностями появления пары сигналов

Xi\Хj	Х1	Х2	Х3	Х4
X1	0,3	0.25	0.05	0.4
X2	0.4	0.3	0.14	0.16
X3	0.5	0.25	0.1	0.15
X4	0.3	0.1	0.5	0.1

Определить энтропию источника дискретных сообщений.

4. Задан источник сообщений с алфавитом М = 4, который характеризуется следующими вероятностями:

• априорными вероятностями появления сигнала

  Xi	X1	X2	X3	X4
  P(Xi)	0,6	0,05	0,15	0,2

• условными вероятностями появления пары сигналов

Xi\Хj	Х1	Х2	Х3	Х4
X1	0,35	0.15	0.05	0.45
X2	0.4	0.3	0.1	0.2
X3	0.55	0.2	0.15	0.1
X4	0.35	0.15	0.4	0.1

Определить энтропию источника дискретных сообщений.

Вопросы

1. Дайте определение условной вероятности появления сигнала

2. Вычисление энтропии источника сигнала

3. Отличие энтропии от количества информации