124

4 Кодирование. Пропускная способность канала.

4.1 Основные определения. Пропускная способность канала

М одель системы передачи информации. Системой передачи информации (СПИ) называется совокупность технических средств, используемых для передачи информации в пространстве (связь, телекоммуникации). В сущности, те же закономерности характерны и для системы передачи информации во времени (хранение информации). Модель системы передачи информации представлена на рис. 4.1.

Источником называется устройство или человек, генериру-ющие сообщение, подлежащее передаче, а получателем – устройство или человек, получающие информацию. Каналом называется совокупность физических объектов, используемых для переноса сигнала (кабель, проводная линия, лента магнитофона, среда, в которой распространяются волны, и т.п.). Кодером называется устройство, преобразующее сигнал на выходе источника в сигнал, пригодный для передачи по данному каналу. Декодером называется устройство, преобразующее сигнал на выходе канала к виду, пригодному для использования потребителем. Воздействие помех (шумов) на сигнал в процессе его распространения в канале отражено на схеме введением источника помех.

Источник информации. Источник информации называется дискретным или непрерывным в зависимости от вида созда-ваемых им сообщений. Источник называется стационарным, если сообщение на его выходе есть стационарная случайная функция (последовательность). Дискретный источник называ-ется источником без памяти, если символы в последова-тельности на его выходе независимы.

Канал. Канал называется дискретным, непрерывным, дискретно-непрерывным или непрерывно-дискретным в зависимости от вида сигналов на его входе и выходе. Если входной A(t) и выходной B(t) сигналы связаны взаимно-однозначно, то такой канал называется каналом без шума. В канале с шумом возможны случайные ошибки при преобразовании входного сигнала в выходной.

Дискретный канал с шумом называется каналом без памяти, если ошибки в отдельных символах выходной последователь-ности статистически независимы. Канал называется стационарным (постоянным), если условные вероятности перехода от A(t) к B(t) не зависят от начала отсчёта.

Кодер и декодер. Кодирующее устройство выполняет следующие операции:

а) согласование источника с каналом (перевод реальных сообщений в электрические сигналы, модуляция непрерывных сигналов, квантование непрерывных сообщений, представление s-ичного дискретного сообщения в m-ичном коде и т.п.);

б) экономное представление информации с минимальной избыточностью либо, наоборот, разумное введение избыточности в сигнал, передаваемый по каналу, с целью повышения его помехоустойчивости.

Функции декодера в значительной степени обратны функциям кодера. Кроме того, введение при кодировании избыточности в сигнал A(t) часто представляет возможность обнаруживать и исправлять ошибки, возникающие в канале из-за влияния помех. Эта операция также выполняется декодирующим устройством.

Скорость передачи информации. Одной из важных характеристик источника является скорость создания информации. Для стационарного дискретного источника она равна энтропии последовательности символов на его выходе, вычисленной по формуле (2.4.2). Скорость создания информации непрерывным источником, вообще говоря, бесконечна (см. разд. 3.2). Поэтому в качестве скорости создания информации стационарным непрерывным источником принимают значение - энтропии непрерывной функции на его выходе, вычисленной при заданной точности воспроизведения этой функции (см. разд. 3.3).

Важнейшей характеристикой СПИ в целом является скорость передачи информации. Скоростью передачи информации называется средняя величина взаимной информации (в единицу времени или на отсчёт) между сигналом X(t) на выходе источника и сигналом Y(t), поступающим к потребителю. Эта величина вычисляется по формуле (2.4.8), но для непрерывных источников в формуле используются значения относительной энтропии (условной и безусловной).

Условная энтропия в правой части выражения (2.4.8) иногда называется ненадёжностью передачи информации от диск-ретного источника. Она численно равна разности между ско-ростью создания информации и скоростью её передачи, поэ-тому ненадёжность, по существу, есть скорость потерь информации в канале (и, возможно, в кодере и декодере). Не-надёжность равна нулю только в случае безошибочной передачи информации.

Пропускная способность канала. Скорость передачи информации зависит в значительной степени от скорости её создания, способов кодирования и декодирования. Наибольшая возможная в данном канале скорость передачи информации называется его пропускной способностью С. Пропускная способность канала, по определению, есть скорость передачи информации при использовании «наилучших» для данного канала источника, кодера и декодера, поэтому она характеризует только канал.

Пропускная способность дискретного (цифрового) канала без помех

бит/символ,

(4.1.1)

где m – основание кода сигнала, используемого в канале (см. 4.2.2). Скорость передачи информации в дискретном канале без шумов равна его пропускной способности, когда символы в канале независимы, а все m букв алфавита равновероятны (используются одинаково часто).

Пропускная способность дискретного канала с шумом без памяти

бит/симв.

(4.1.2)

При заданных вероятностях перехода задача вычисления пропускной способности сводится к отысканию «наи-лучшего» распределения вероятностей на входе канала. Скорость передачи информации в таком канале равна его пропускной способности, когда символы в канале независимы, а распределение вероятностей m входных букв равно найденному.

Пропускная способность непрерывного канала с ограниченной полосой частот Гц, в котором действует аддитивный белый гауссовский шум (1.9) со спектральной плотностью вычисляется по формуле Шеннона-Таллера

бит/с,

(4.1.3)

где – средняя мощность стационарного полезного сигнала B(t) на выходе этого канала,

– средняя мощность шума, попадающего в полосу частот , на выходе этого канала.

Скорость передачи информации в непрерывном канале с постоянными параметрами равна его пропускной способности, когда входной сигнал A(t) также является стационарным гауссовским случайным процессом с нулевым математическим ожиданием и спектром плотности мощности, равномерным в полосе частот .