37. Частная условная энтропия. Условная энтропия источника.

Апостериорная энтропия источника

Средняя неопределенность относительно любого состояния источника, остающаяся у адресата после получения конкретного элемента сообщения _j, характеризуется частной условной энтропией H_j(z):

(31)

Величину H_U(V) называют полной условной или просто условной энтропией ансамбля V по отношению к ансамблю U.

(15) или (16)

Средняя неопределенность по всему ансамблю принимаемых элементов сообщений равна условной энтропии источника H_W(Z):

(32)

Эту энтропию называют апостериорной энтропией источника информации.

Таким образом, при наличии помех среднее количество информации, содержащееся в каждом принятом элементе сообщения, относительно любого переданного равно разности априорной и апостериорной энтропий источника:

(33)

Подставив выражения H(Z) и H_W(Z) из (6) и (32) в (33) и проведя несложные преобразования, получим формулу для количества информации непосредственно через вероятности:

(34)

С помощью k элементарных двоичных сигналов можно передать сообщение об объекте, имеющем 2^k возможных состояний. Если все эти состояния равновероятны, то каждое сообщение из k символов имеет количество информации, равное k двоичным единицам. Этим объясняется удобство применения двоичных логарифмов. Двоичная единица информации называется битой.

38????

39. Энтропия квантовой величины

Если величина u непрерывна, она имеет бесконечное множество возможных значений. Введем для нее понятие энтропии с помощью предельного перехода.

Заменим бесконечное множество значений «u» конечным числом N значений, взятых через равные интервалы:

.

Для k-го значения измеряемой величины u_k получим выражение . Вероятность появления k-го значения находим из плотности распределения по формуле . Это выражение тем точнее, чем меньше .

Энтропия квантовой величины u*

По условию нормирования тогда При второе слагаемое стремится к бесконечности. Таким образом, предельный переход не позволяет ввести понятие энтропии переданного сообщения. Однако при определении количества информации для случая, когда сигнал искажен шумами (помехами), нужно из безусловной энтропии H(U) вычесть среднюю условную H_W(Z). В этом случае при квантовании “u” и “” с одинаковым шагом получается, что энтропия соответствующих квантовых величин H(u*) H_W*(U*) имеют одинаковые составляющие - , которые при вычитании взаимно компенсируются. Предельный переход при дает

40. Количество информации в непрерывных сообщениях.

Рассмотрим информационные характеристики непрерывных сообщений.

Если величина u непрерывна, она имеет бесконечное множество возможных значений. Введем для нее понятие энтропии с помощью предельного перехода.

Заменим бесконечное множество значений «u» конечным числом N значений, взятых через равные интервалы:

.

Для k-го значения измеряемой величины u_k получим выражение . Вероятность появления k-го значения находим из плотности распределения по формуле . Это выражение тем точнее, чем меньше .

Энтропия квантовой величины u*

По условию нормирования тогда При второе слагаемое стремится к бесконечности. Таким образом, предельный переход не позволяет ввести понятие энтропии переданного сообщения. Однако при определении количества информации для случая, когда сигнал искажен шумами (помехами), нужно из безусловной энтропии H(U) вычесть среднюю условную H_W(Z). В этом случае при квантовании “u” и “” с одинаковым шагом получается, что энтропия соответствующих квантовых величин H(u*) H_W*(U*) имеют одинаковые составляющие - , которые при вычитании взаимно компенсируются. Предельный переход при дает

Величину (36) называют априорной (безусловной) дифференциальной энтропией непрерывной величины U.

Величину (37)

называют апостериорной (условной) дифференциальной энтропией.

Соответственно количество информации есть разность априорной и апостериорной дифференциальной энтропии

(38)

Аналогично можно получить выражение

. (39)

Заметим, что величина дифференциальной энтропии зависит от того, в каких единицах выражена величина переменной. Разность энтропий от этого не зависит, если только величины одинаковы.

Докажем симметричность этого критерия, т.е. что в величине  содержится столько же информации о величине “u”, сколько в величине “u” – о величине . Как и в предыдущем случае, возьмем за основу соотношения, полученные для объектов с дискретными состояниями. Преобразуем формулу (29) для частного количества информации I(u_i):

Подставляя полученное выражение в (34) получим:

Далее найденную формулу применим к непрерывным величинам “u” и “”, подвергнув их квантованию с шагом , и совершив затем предельный переход при .

Тогда получим (40)

.Во многих случаях принимаемую (воспроизводимую) величину  можно представить как сумму передаваемой (измеряемой) величины “u” и некоторой помех “S”: (41)

причем помеха часто не зависит от “u”. В этом случае условная дифференциальная энтропия равна безусловной энтропии помехи . Покажем это. По аналогии с (37) (42)

Рассмотрим выражение в квадратных скобках под интегралом в правой части формулы (42). Заменим переменную  в соответствии с (41). При этом . Будем иметь в виду, что данный интеграл вычисляется для фиксированного значения “u”:

Если значение “u” фиксировано, то условная вероятность обращается в безусловную, т.е. .

Тогда

но интеграл в правой части последнего выражения равен единице: . Поэтому (43)

Формула (39) с учетом (43) имеет вид (44)

Предполагаем, что при вычислении обеих энтропий – принимаемого сигнала и помехи – величины  и S выражаются в одинаковых единицах.

Если измеряемая величина “u” и помеха S имеют нормальные распределения, то их сумма также имеет нормальное распределение.

№45 Дифференциальная энтропия нормально распределенной величины “u”, вычисленная по формуле (36)

Максимальной дифференциальной энтропией обладает равномерное распределение вероятностей. Если значения случайной величины U лежат в пределах[, ].

где D(u) – дисперсия величины “u”.

Соответственно

Подставляя эти величины в (44), получаем

№41. (45)

Как известно, дисперсия сигнала пропорциональна его средней мощности, которую обозначим P_u, а среднюю мощность помехи P_S. Тогда

(46)

Отметим еще раз, что эта формула справедлива для случая, когда помеха является аддитивной (№41) и не зависит от сигнала, а законы их распределения – нормальные.

До сих пор не учитывалось, что “u” есть функция времени, а рассматривалась передача отдельных сообщений о значениях некоторой непрерывной величины “u”. При этом величина I(UW) трактовалась как среднее количество информации, содержащееся в одном принятом значении . Подразумевалось, что усреднение проводится по ансамблю всех возможных значений “u” и  с учетом законов распределения каждой из них отдельно и обеих вместе.

Теперь перейдем к рассмотрению передачи случайной функции времени (случайного процесса) u(t) по каналу, в котором действует случайный шум S(t).

Пусть частотный спектр процесса u(t) ограничен частотой F_max, а ширина полосы частот канала связи не меньше F_max. Согласно теореме Котельникова, указанный процесс u(t) полностью определяется последовательностью ординат взятых с интервалом . Ординаты, отстающие одна от другой на величину Т, статистически взаимно независимы. Поэтому общее количество информации, содержащееся в принятом сообщении, равно сумме количеств информации, содержащихся в этих отдельных ординатах. В сообщении длительностью Т_с содержится 2Т_СF_max таких ординат. Среднее количество информации в принятом сообщении длительностью Т_С равно(№42)

Интерес представляет среднее количество информации, принимаемая в единицу времени, т.е. средняя скорость передачи информации по данному каналу. Эта величина

(47)

При независимом аддитивном шуме S(t) и нормальных распределениях “u” и “S” средняя скорость передачи информации

(48)