1. Кодирование — это преобразование исходного сообщения в совокупность или последовательность кодовых символов, отображающих сообщение, передаваемое по каналу связи.

Код — это полная совокупность различных условных символов, которые могут использоваться для кодирования исходного сообщения и которые возможны при данном правиле кодирования. Число же различных кодовых символов составляющих кодовый алфавит называют объемом кода или объёмом кодового алфавита.

Кодирование может быть числовым (цифровым) и нечисловым, в зависимости от вида, в котором представлены кодовые символы.

Различают эффективное (статистическое, задача добиться представления символов минимальным числом элементов кодовых символов) кодирование и кор­ректирующее (помехоустойчивое, задача снижения вероятности ошибок в передаче символов исход.сооб-ия, засчет дополнительной избыточности кода) кодирование.

2. Избыточность кодов.

Все коды можно разделить на неизбыточные коды и избыточные. В избыточных кодах число элементов кодовых символов может быть сокращено за счет более эффективного использования оставших­ся элементов, в неизбыточных же кодах сокращение числа элементов в кодо­вых символах невозможно.

Избыточность означает, что фактическая энтропия кода или сообщения меньше, чем максимально возможная энтропия, т.е. число символов в сообщении или коде больше, чем это требовалось бы при полном их использовании.

Для неизбыточных кодов характерно то, что они позволяют просто определить различные символы сообщения. Переход от неизбыточного кода к избыточному осуществляется путем добавления позиций в кодовых символах, которые можно получить либо путем различных логических операций, либо путем использования алгоритмов, связывающих неизбыточный и избыточный коды.

3. Эффективное кодирование равновероятных символов сообщений

Эффективное кодирование используется в каналах без шума, т.е. в таких каналах, где помехи отсутствуют, либо ими можно пренебречь. Основной задачей кодирования в таком канале является обеспечение максимальной скорости передачи информации, близкой к пропускной способности канала передачи.

Если все символы алфавита кодируемого сообщения независимы и их появление равновероятно, построение оптимального эффективного кода не представляет трудностей. Пусть Н(х) — энтропия исходного сообщения. Будем считать, что символы сообщения (х_i) равновероятны и объем алфавита исходного источника сообщений равен m. Следовательно, вероятность появления любого i-го символа данного сообщения (P(х_i)) будет одинакова, т.е.

, i=1,.., m ,

а энтропия сообщения равна (Н(х)):

,

Если для кодирования используется числовой код по основанию k (объем алфавита элементов кодовых символов равен k), то энтропия элементов кодовых символов (Н₁), при условии, что элементы символов кода появляются равновероятно и взаимнонезависимо, определится из соотношения:

H₁ = log₂ k .

Тогда длина эффективного равномерного кода, т.е. число элементов в кодовом символе (l_эфф.), может быть найдена из соотношения:

, (2.4)

где m = k ⁿ.