25.1 Код Хаффмена

Хаффманом предложена методика, позволяющая построить оптимальный код с минимальной избыточностью при любом основании кода m. Правило построения кода заключается в следующем:

1.Символы сообщений (буквы) располагаются в порядке убывания вероятностей.

2. наименее вероятных букв объединяются в одну вспомогательную, вероятность которой определяется суммой вероятностей входящих в нее букв. Число определяется из условия , так чтобы выполнялось соотношение , где М – число символов сообщения; j – целое число.

3.В качестве последних символов кода, приписываемых буквам, вошедшим во вспомогательную букву, выбирается различных символов кода.

4.Оставшиеся буквы и вспомогательная буква располагаются в порядке убывания вероятностей.

5. Составляется вторая вспомогательная буква, в которую входят m наименее вероятных букв. Вошедшим буквам присваиваются различные символы кода и т. д.

25.2 Властивості ентропії

Энтропия – это количество информации приходящейся на один символ сообщения. Энтропия характеризует источник сообщений с заданным алфавитом и является мерой неопределенности, которая имеется в ансамбле сообщений этого источника. Чем больше энтропия, тем больше информации несет в себе сообщение источника, тем большая неопределенность снимается при получении сообщения.

Обычно энтропия обозначается буквой Н и определяется выражением:

.

Дискретным называется сигнал состоящий из отдельных элементов (букв, символов, импульсов ) принимающих конечное число различных значений.

Свойства энтропии :

1. Энтропия - функция распределения вероятностей.

4. Энтропия является величиной вещественной ограниченной и неотрицательной, т. е. H>0. Это свойство следует из выражения (I—14) с учетом того, что величины р_i являются неотрицательными величинами и заключены в промежутке 0 <= р_i <= 1.

5. Энтропия минимальна и равна нулю, если сообщение известно заранее, т. е. если р_i= 1, а р₁ = р₂ = ... = р_i-1 =р_i+1 = ...=р_n.=0.

6. Энтропия максимальна, если все состояния элементов сообщений равновероятны. Данное свойство энтропии легко доказывается с помощью методов вариационного исчисления. Мы воспользуемся конечным результатом, согласно которому Н = Н_тах, если

,

4.Энтропия бинарных сообщений может изменяться от нуля до единицы. Бинарные сообщения характеризуются использованием двоичного алфавита, т. е. т = 2. Для таких сообщений

25.3 Перетворення сигналів при ущільненні повідомлення.

Уплотнение при передаче информации делают для передачи большего количества каналов по одной линии передачи.

П ри частотном уплотнении разные каналы разносят на поднесущие так, чтоб их спектры не перекрывались. Перенос спектра сообщений осуществляется канальными преобразователями в процессе модуляции поднесущих частот канальными сообщениями.

П ри временном уплотнении во время паузы импульсов одного канала помещают импульсы других каналов, за счет чего уплотняют временной ресурс. В системах с временным уплотнением возможно использование АИМ и ШИМ. На первой ступени используется такой вид модуляции, при котором амплитуда поднесущей не изменяется (ЧМ и ШИМ). На второй ступени – амплитудная модуляция непрерывной или импульсной несущей. Сформированные таким образом канальные сигналы суммируются, и получается многоканальное сообщение. На выходе с помощью временных селекторов и частотных фильтров происходит канальное разделение сигналов.

Также существует кодовое уплотнение сигналов. При этом частотный и временной ресурс используются всеми источниками одновременно. Однако производится дополнительное преобразование: сообщения ортогонализируются относительно к другим сообщениям абонентов с помощью умножения на функции Уолша. Эти функции представлены заранее известными кодами, которые синхронны между собой. Для выделения сигналов строят систему взаимных функций.