11. Энтропия дискретных сообщений.

12. Свойства энтропии.

13. Энтропия непрерывных сообщений.

Количество информации, приходящееся на один элемент сообщения, называется удельной информативностью, или энтропией. Энтропия характеризует источник сообщений с заданным алфавитом и является мерой неопределеннссти, которая имеется в ансамбле сообщений этого источника. Чем больше энтропия, тем больше информации несет в себе сообщение источника, тем большая неопределенность

снимается при получении сообщения. Обычно энтропия обозначается буквой Н и определяется выражением:

Количество информации и энтропия являются логарифмическими мерами и измеряются в одних и тех же единицах. Основание логарифма определяет единицу измерения количества информации и энтропии. Двоичная единица соответствует основанию логарифма, равному двум, и называется битом. 1 бит — это количество информации в сообщении об одном из двух равновероятных исходов некоторого опыта. Используются также натуральные и десятичные логарифмы. В этих случаях количество информации выражается в натуральных и деся­тичных единицах соответственно. Аналогичными единицами пользуются при оценке количества информации с помощью аддитивной меры Хартли

НЕКОТОРЫЕ СВОЙСТВА ЭНТРОПИИ Из выражения (1-13) следует, что количество информации, содержащейся в сообщении, зависит от числа элементов сообщения n, используемого алфавита т и вероятностей выбора элементов р_i. Рассмотрим зависимость количества информации и энтропии от этих величин. Нетрудно видеть, что зависимость I от n является линейной. Величины m и р_i, влияют на количество информации и энтропию примерно одинаково, поэтому ограничимся рассмотрением основных свойств энтропии.

1. Энтропия является величиной вещественной ограниченной и неотрицательной, т. е. H>0. Это свойство следует из выражения (I—14) с учетом того, что величины р_i являются неотрицательными величинами и заключены в промежутке 0 <= р_i <= 1. Все слагаемые, входящие в сумму (I—14), являются также величинами неотрицательными и изменяются при изменении р_i от нуля до единицы. Используя правила нахождения пределов и максимума функции, убеждаемся, что при р_i = 0 и р_i = 1 слагаемое — р_ilogр_i равняется нулю и достигает максимального значения, равного 0,531 при р_i =1/e. График зависимости величины одного слагаемого от р_i приведен на рис. 3. Поскольку все слагаемые суммы вещественны, неотрицательны и конечны, то при любом конечном т энтропия также будет вещественной, неотрицательной и конечной величиной.

2. Энтропия минимальна и равна нулю, если сообщение известно заранее, т. е. если р_i= 1, а р₁ = р₂ = ... = р_i-1 =р_i+1 = ...=р_n.=0.

3. Энтропия максимальна, если все состояния элементов сообщений равновероятны. Данное свойство энтропии легко доказывается с помощью методов вариационного исчисления. Мы воспользуемся конечным результатом, согласно которому Н = Н_тах, если

Величину максимальной энтропии найдем при использовании

4.Энтропия бинарных сообщений может изменяться от нуля до единицы. Бинарные сообщения характеризуются использованием двоичного алфавита, т. е. т = 2. Для таких сообщений

Используя условие для данного случая и обозначив

Зависимость энтропии бинарных сообщений от вероятности выбора одного из элементов приведена на рис. 4. Энтропия достигает максимума, равного единице, при р₁ = р₂ = 0,5

ЭНТРОПИЯ НЕПРЕРЫВНЫХ СООБЩЕНИЙ Hепрерывные сообщения могут принимать любые значения в некоторых пределах и являются непрерывными функциями времени. Особенностью непрерывных сообщений является то, что вероятность появления каждого из отдельных значений равна нулю. .Статистиче­ские свойства непрерывной величины характеризуют функцией плотности вероятности распределения ее значений р (х). Функцию р (х} называют также дифференциальным законом распределения величины х. Данная функция характеризует вероятность попадания непрерывной случайной величины х в некоторый элементарный интервал значений Δx. Эта вероятность определяется произведением р (х) Δx; и стремится к нулю при уменьшении ширины интервала.

С учетом сделанного предположения можно определить энтропию непрерывных сообщений на основании (I - 14), если вероятности выразить через соответствующие плотности вероятности и найти предел при Δx -> 0. В этом случае

При уменьшении Δx; (увеличении m) первое слагаемое в пределе стремится к интегралу, пределом второго слагаемого будет — logΔx. Таким образом (1-39) примет вид:

Информативность непрерывных сообщений, обусловленная их статистическими свойствами, полностью определяется первым слагаемым, тогда как второе слагаемое зависит лишь от выбранного интервала Δx и является постоянной величиной (при постоянном Δx). Первое слагаемое в (1-40) называется дифференциальной энтропией. При решении конкретных задач обычно используется выражение для дифференциальной энтропии без специальных оговорок, а величина

называется энтропией и характеризует количество информации, приходящейся на один отсчет непрерывного сообщения.

Поскольку информативность сообщений является функцией дифференциального закона распределения, целесообразно определить вид функции плотности вероятности р (х), при которой энтропия будет максимальной. Практическое значение имеют два случая.

Энтропия непрерывных сообщений Непрерывное сообщение, как случайная величина, характери­зуется дифференциальным законом распределения вероятностей w (х).

Пусть функция распределения плотности вероятности непрерывного сообщения имеет вид (рис. 4.3).

Для определения энтропии непрерывных сообщений воспользуемся в качестве исходного выражения (4.4) для энтропии дискретных сообщений. В связи с этим разобьем шкалу уровней непрерывной случайной величины х на небольшие участки Δx, и внутри каждого участка выберем точки xi так, чтобы выполнялось условие

(4.7)

Выражение (4.7) характеризует вероятность р(х_i) попадания случайной величины х в интервал Δx_i (рис. 4.3) при замене непрерывной случайной величины х совокупностью дискретных сообщений х_i, вероятности поступления которых определяются выражением (4.4). Такая замена будет тем точнее, чем меньше участки Δx_i.

Энтропия эквивалентного дискретного сообщения в соответствии с (4.4)

Чтобы получить выражение для энтропии непрерывного сооб-щения, осуществим предельный переход при Δx_i i-> 0.

(4.8) так как

Второй член выражения (4.8) при Δx_i -> 0 стремится к бесконечности. Следовательно, энтропия непрерывного сообщения должна быть равна бесконечности. Однако в реальных условиях отсчет сообщений на приемной стороне производится в дискретных точках вследствие конечной точности и разрешающей способности аппаратуры, т. е. интервалы Δx_i имеют конечную величину. Поэтому выражение (4.8), определяющее энтропию непрерывного сообщения, имеет две составляющие, одна из которых определяется законом распределения сообщения, а вторая является постоянной величиной и обычно исключается из рассмотрения.

Первое слагаемое

(4.9)

представляет собой так называемую дифференциальную энтропию. Дифференциальная энтропия зависит от статистики сообщений. Если положить величину х безразмерной, то h (х) можно измерять в двоичных единицах, приходящихся на один определяющий дискрет вымысле В. А. Котельникова. Следует, однако, иметь в виду, что в отличие от энтропии дискретных сообщений величина h (х) является относительной, так как зависит от масштаба х, а значит, от выбора единицы измерения. В связи с этим h(x) отдельно не может служить абсолютной мерой неопределенности непрерывного сообщения.

Доказано , что при заданной средней мощности (дисперсии) максимальной энтропией обладает нормальный закон распределения вероятностей. Если же задана пиковая мощность, то максимальной энтропией обладает равновероятный закон распределения.