1 Основные положения курса тэс, часть 2

1.1 Теория передачи и кодирования сообщений

1.1.1 Основы теории передачи информации

[1, с. 101–130]; [2, с. 70–83].

В процессе передачи по системе связи сообщение может подвергаться многочисленным преобразованиям, существенно меняющим его электрическое представление и физические характеристики. Однако следует иметь в виду, что объектом передачи является не электрическое представление сообщения, а та полезная информация, содержащаяся в передаваемом сообщении, которая должна оставаться неизменной при всех преобразованиях. Информацией называется совокупность сведений о каком-либо явлении, событии или объекте, которые увеличивают знание получателя о них.

Информацию в исходном сообщении называют собственной, а информацию, содержащуюся в переданном сигнале, принятом сигнале и принятом сообщении – взаимной (относительной). Поскольку количество информации при передаче сообщения в системе связи может уменьшиться за счёт действия помех и искажений, то количество взаимной информации не больше количества собственной информации. Как же оценить количество информации, содержащейся в том или ином сообщении или сигнале? Во-первых, следует чётко усвоить, что количество информации зависит от априорной неопределённости (степени случайности) появления рассматриваемых сообщений. При этом, чем менее вероятно сообщение, тем оно неожиданнее для получателя и тем больше информации мы получаем при поступлении сообщения об этом событии. Во-вторых, количество информации должно удовлетворять естественному требованию аддитивности. Например, текст двух независимых друг от друга телеграмм при прочих равных условиях, очевидно, содержит в два раза больше информации, чем текст каждой из телеграмм.

В статистической теории связи в качестве универсальной количественной меры информации, не зависящей от конкретной физической природы передаваемого сообщения (сигнала) и удовлетворяющей указанным свойствам, используют логарифмы числа, обратно пропорционального вероятности наступления события. Эта мера информации введена К. Шенноном. Единица количества информации определяется выбором основания логарифма. При основании логарифма, равном 2, количество информации оценивают в двоичных единицах (битах).

Для характеристики количества информации ансамбля сообщений, вырабатываемого источником, введено понятие энтропии как среднего количества собственной информации. Энтропия источника тем больше, чем больше степень неожиданности передаваемых им сообщений в среднем, т.е. чем более неопределённым является ожидаемое сообщение. Количество собственной информации, вырабатываемой источником в единицу времени, называют производительностью источника. Энтропия зависит от распределения вероятностей ансамбля сообщений. Энтропия максимальна в случае равной вероятности всех возможных сообщений в ансамбле сообщений, так как в этом случае максимальна неопределенность выбора различных сообщений. Относительное уменьшение энтропии называется избыточностью источника. Чем меньше избыточность источника, тем более эффективно используется канал связи, по которому передаются сообщения.

Количество собственной информации, вырабатываемой источником, определяется безусловной (собственной) энтропией. Безусловная энтропия характеризует меру априорной неопределённости о сообщении до его передачи. После приёма сообщения эта неопределённость снимается полностью, если сообщение принято верно, либо частично, если оно не полностью соответствует исходному. Остаточная (частичная) неопределённость в принятом сообщении относительно переданного оценивают условной энтропией. Количество взаимной информации (той, которая содержится в принятом сообщении (сигнале) относительно переданного) определяют как разность безусловной и условной энтропий. Она характеризует меру уменьшения неопределённости относительно реализации переданного сообщения (сигнала), при наблюдении реализации принятого сообщения (сигнала). Количество взаимной информации, передаваемой в единицу времени по каналу связи, называют скоростью R передачи информации. Максимально возможная скорость передачи информации называется пропускной способностью канала связи C; она является характеристикой только канала (т.е. определяется помеховой ситуацией в канале) и не зависит от статистики сигнала. Отношение скорости передачи информации к пропускной способности называют коэффициентом использования канала; он тем больше, чем ближе R к C.

К. Шеннон доказал следующую теорему. Если ошибки в канале отсутствуют, то сообщения на выходе источника можно закодировать так, чтобы передавать информацию со средней скоростью R, сколь угодно близкой к C. Передавать информацию с R  C невозможно. Эта теорема служит основой для построения эффективных статистических кодов, предназначенных для сокращения избыточности передаваемых сообщений и повышения эффективности использования каналов связи. Разработаны статистические коды Хаффмена, Шеннона–Фано. Принцип кодирования здесь состоит в том, что наименее вероятным (редко встречающимся) сообщениям приписываются кодовые комбинации большой значности (длины), а наиболее вероятным сообщениям – кодовые комбинации малой значности. При этом уменьшается среднее число кодовых символов на одно сообщение, что и приводит к увеличению средней скорости передачи информации.

Следует обратить внимание на наличие связи между скоростью передачи информации и помехоустойчивостью. Увеличение R (при данном методе передачи и приёма, фиксированной полосе частот канала и мощности передатчика) неизбежно приводит к снижению помехоустойчивости. И наоборот, снижая R, можно реализовать увеличение помехоустойчивости путём введения повторения передаваемой информации, увеличения избыточности источника и др.

Известна теорема К. Шеннона для канала с помехами, которая устанавливает то предельное количество информации, которое может быть передано в единицу времени в данной полосе частот, при данном отношении сигнал/помеха со сколь угодно малой вероятностью ошибок. Отыскание практических путей более полной реализации C является важной задачей теории и техники связи, так как потребность в обмене информации по каналам связи непрерывно возрастает. Кроме того, реализовав высокую скорость передачи R, имеется возможность "обмена" её на более высокую помехоустойчивость.