2. Исследование тракта кодер-декодер источника

1. Источник сообщений на передающей стороне представляет собой дискретный источник без памяти с алфавитом из 16 символов. Вероятности выдачи каждого символа источником и скорость выдачи символов известны. Для заданного источника найдём энтропию, избыточность и производительность.

Энтропия источника – это средняя информативность источника на один символ, определяющая «неожиданность» или «непредсказуемость» выдаваемых им сообщений. Она равна нулю, если с вероятностью равной единице источником выдается всегда одно и то же сообщение (в этом случае неопределенность в поведении ИС отсутствует). Энтропия максимальна, если сообщения выдаваемые источником появляются независимо и с одинаковой вероятностью. В этом случае она равна .

[ бит/симв]

Избыточность – информационная характеристика дискретного источника. Избыточность приводит к тому, что за заданный промежуток времени будет передано меньше сообщений, и, следовательно, менее эффективно будет использоваться канал передачи дискретных сообщений. Задачу устранения избыточности при передаче выполняет кодер источника

где К = 16 – объем алфавита

Производительность – средняя энтропия в единицу времени, то есть среднее количество информации, выдаваемое источником в единицу времени.

[бит/с]

2. Найдем минимально необходимое число разрядов кодового слова, при условии, что производится примитивное кодирование:

Найдем среднее количество двоичных символов, приходящееся на один символ источника, при условии примитивного кодирования:

Среднее количество двоичных символов , приходящееся на один символ источника, будет равно k, т.е.:

(т.к. все символы представляются комбинациями с одинаковым числом разрядов).

3. Построение кодового дерева неравномерного кода Хаффмана

Рис. 2. Построение кодового дерева кода Хаффмана

Таблица 2.

Символ источника	вероятность	код
в	0,207	00	2		0,414	2		0,4140			0	0
а	0,194	01	2		0,372	1		0,1860			1	0,1860
м	0,146	110	3		0,558	1		0,1860			2	0,3720
к	0,135	100	3		0,396	2		0,2640			1	0,1320
и	0,124	101	3		0,315	1		0,1050			2	0,2100
р	0,06	11100	5		0,250	2		0,1000			3	0,1500
е	0,05	11101	5		0,250	1		0,0500			4	0,2000
л	0,02	111100	6		0,120	2		0,0400			4	0,0800
п	0,016	111101	6		0,090	1		0,0150			5	0,0750
о	0,015	1111110	7		0,084	1		0,0120			6	0,0720
д	0,009	1111100	7		0,084	2		0,0240			5	0,0600
б	0,0081	1111101	7		0,077	1		0,0110			6	0,0660
г	0,008	11111110	8		0,0504	1		0,0063			7	0,0441
с	0,003	111111110	9		0,0333	1		0,0037			8	0,0296
и	0,003	1111111110	10		0,0300	1		0,0030			9	0,0270
з	0,0019	1111111111	10	0,0100			0		0	10		0,0100

Среднее количество двоичных символов, приходящееся на один символ источника:

[симв]

Энтропия на выходе кодера:

[бит/симв]

Избыточность на выходе кодера:

Вывод: Код Хаффмана приблизил среднее значение длины кодовой комбинации к энтропии источника [бит/симв]. Избыточность на выходе кодера меньше избыточности источника

4. Вероятность двоичных символов:

Средняя скорость выдачи символов на выходе кодера источника:

[симв/с]

5. Описание процедуры кодирования и декодирования символов экономным кодом Хаффмана.

При кодировании происходит процесс преобразования элементов сообщения в соответствующие им кодовые символы. Каждому элементу сообщения присваивается определённая совокупность кодовых символов, которая называется кодовой комбинацией

Совокупность кодовых комбинаций, отображающих дискретные сообщения, образует код. Правило кодирования может быть выражено кодовой таблицей, в которой приводятся алфавит кодируемых сообщений и соответствующие им кодовые комбинации. Множество возможных кодовых символов называется кодовым алфавитом, а их количество m- основанием кода.

При кодировании экономным кодом Хаффмана, каждый символ источника заменяется

соответствующей кодовой комбинацией . Для однозначного декодирования, кодовые

комбинации экономного кода должны удовлетворять условию префиксности, которое

состоит в том, что ни одна кодовая комбинация не должна быть началом любой другой

кодовой комбинации. При декодировании из всей последовательности кодовых символов

выделяются кодовые комбинации экономного кода, каждая из которых на выходе декодера заменяется соответствующим символом источника (то есть происходит процедура обратная кодированию). В результате устранения избыточности из сообщения, при возникновении одиночной ошибки в кодовом символе приведёт к тому, что оставшаяся (следующая за ошибочным символом) часть сообщения восстановится декодером неверно.