Занятие № 3 Расчет информационных характеристик дискретных источников сообщений

Теоретическая часть

Средняя частная энтропия источника сообщения, приходящая на один элемент, выдаваемый дискретным источником независимых элементов с объемом алфавита М, можно найти как математическое ожидание дискретной случайной величины H(А_i), т.е. будет определяться равенством

. (1)

Данное выражение справедливо при условии, что все элементы алфавита независимы. На самом деле элементы алфавита генерируются взаимозависимыми, ограничимся рассмотрением парной зависимости.

Пусть заданы элементы А_i^I и A_j^II и вероятности их появления соответственно Р(А_i^I) и Р(A_j^II), причем эти вероятности равны если i = j. Также дана условная вероятность появления элемента A_j^II при условии, что ранее был передан элемент А_i^I, т.е. Р(A_j^II/A_i^I) тогда условная энтропия приходящаяся на пару символов алфавита определяется следующим образом

, (2)

где Р(A_j^IIA_i^I) - вероятность парного появления (A_j^IIA_i^I).

Известно, что Р(A_j^IIA_i^I) = P(A_i^I) Р(A_j^II/A_i^I) подставляя данное выражение в предыдущее, получаем

. (3)

Полученное выражение соответствует энтропии на сочетание элементов во взаимозависимых источниках. Для вычисления энтропии источника с взаимозависимыми элементами необходимо разделить результат на два.

. (4)

Информационные пределы избыточности.

Как отмечалось выше, средняя энтропия источника сообщений может быть различной в зависимости от статистических характеристик элементов сообщения. Энтропия максимальна и определяется выражением

I(X) = log₂ M. (5)

если элементы сообщений являются равновероятными и взаимно независимыми. Если поступление элементов сообщений не равновероятно, то энтропия в этом случае определяется выражением (2).

Еще меньшей будет энтропия при наличии коррелятивных связей между элементами сообщений (см. неравенство 3). Причем энтропия уменьшается при усилении коррелятивных связей.

Сообщение, энтропия которых является максимальной, считается оптимальным с точки зрения передачи наибольшего количества информации.

Мерой количественной оценки того, насколько данное реальное сообщение по своей энтропии отличается от соответствующего ему оптимального сообщения, является коэффициент сжатия

(6)

где Н(А) – реальная энтропия; Н_мах(А) – максимальная энтропия.

Если неоптимальное и оптимальное сообщения характеризуются одинаковой энтропией, то справедливо равенство

(7)

где n, n¹ – число разрядов неоптимального и оптимального сообщений соответственно.

Другой информационной характеристикой, являющейся мерой информационного предела избыточности, является коэффициент избыточности

. (8)

Избыточность источника зависит как от протяженности статистических связей между последовательно выбираемыми элементами, так и от степени неравновероятности отдельных элементов. Если источник «без памяти», то последовательно передаваемые элементы являются независимыми, и все элементы – равновероятны, то коэффициент избыточности равен нулю.

Избыточность приводит к увеличению времени передачи сообщений, излишней загрузке канала связи. Однако не всегда надо стремиться избавиться от избыточности. Некоторая избыточность вводится специально, чтобы обеспечить требуемую достоверность передачи информации по каналу связи с помехами (избыточное помехоустойчивое кодирование).