2.2 Средняя собственная информация (энтропия)

Энтропия. Дискретный источник удобнее характеризовать количеством собственной информации, содержащимся в среднем в одном символе ансамбля X.

Это среднее количество собственной информации есть

(2.2.1)

и названо энтропией (по аналогии с понятием энтропии в термодинамике).

Свойства энтропии.

1) Энтропия неотрицательна

(2.2.2)

Знак равенства имеет место, когда X – неслучайна, т.е. p(x_j) = 1, a p(x_i) = 0 для При этом неопределенность относительно ансамбля X отсутствует. Таким образом, энтропия есть мера неопределенности случайного ансамбля.

2) Величина энтропии удовлетворяет неравенству

(2.2.3)

Знак равенства имеет место при равновероятности символов ансамбля X, т.е. при

3) Свойство аддитивности энтропии.

В последовательности i независимых символов энтропия равна сумме энтропий, содержащихся в отдельных символах

(2.2.4)

Вычисление энтропии по формуле (2.2.1) можно упростить, введя функцию тогда формула примет вид

(2.2.5)

Значения функции приведены в Приложении 1.

Условная энтропия. Пусть имеются два статистически зависимых конечных ансамбля символов X и Y. Пары символов x_jy_k c вероятностями p(x_j, у_k) можно рассматривать как элементарные символы объединенного ансамбля XY с энтропией

(2.2.6)

Появление символа x_j вызовет появление символа y_k с условной вероятностью

При этом условная энтропия ансамбля Y в предположении, что выбран символ х_j, будет

(2.2.7)

Здесь каждому х_j соответствует свое значение энтропии , т.е. - случайная величина.

Тогда средняя условная энтропия случайной величины Y, вычисленная при условии, что известно значение другой случайной величины X, равна

(2.2.8)

Энтропия объединенного ансамбля удовлетворяет следующим соотношениям:

а)

(2.2.9)

если X и Y зависимы;

в)

(2.2.10)

если X и Y независимы. (2.2.10)

Для объединенного ансамбля XY условная энтропия удовлетворяет неравенствам:

(2.2.11)

Избыточность. Считают, что имеется избыточность, если количество информации, содержащейся в сигнале (энтропия сигнала), меньше того количества, которое этот сигнал мог бы содержать по своей физической природе. Введем количественную меру избыточности. Пусть сигнал длиной в n символов (отсчетов) содержит количество информации Н. Пусть далее наибольшее количество информации, которое в принципе может содержаться в данном сигнале с учетом наложенных на него ограничений (заданное основание кода, заданная средняя мощность сигнала и т.п.), равно H_max. Тогда количественной мерой избыточности является величина

.

(2.2.12)

Причины появления избыточности – это статистическая связь между символами (отсчетами) сигнала и неэкстремальность распределения вероятностей отдельных символов (отсчетов). Введение избыточности приводит к удлинению сигнала, но зато повышает его информационную устойчивость при воздействии помех.