35. Передача информации от дискретного источника.

Выясним на сколько изменится неопределенность относительно состояния источника сообщения при получении адресатом элемента сообщения с выхода канала связи. Алфавиты передаваемых и принимаемых элементов сообщений считаем идентичными.

Вследствие воздействия помех полученный (сигнал) элемент сообщения в общем отличается от переданного, поэтому принимаемые элементы сообщения обозначим другими буквами: ₁, ₂, …, _i, …, _N.

Априорная неопределенность (неопределенность до получения элемента сообщения) относительно источника сообщений не является полной. Предполагается, сто адресату известен алфавит элементов сообщения, а из прошлого опыта он знает вероятности их появления. Считая, что состояние источника реализуется независимо, априорная частотная неопределенность появления элемента сообщения Z_i

где априорная вероятность появления элемента сообщения Z_i.

Предполагаются также известными некоторые сведения относительно помехи в канале связи. Обычно считают, что между элементами сообщения и помехой статистические связи отсутствуют, искажения отдельных элементов сообщения являются событиями независимыми и адресату известна совокупность условных вероятностей того, что вместо элемента сообщения Z_i будет принят сигнал _j, т.е., что при получении сообщения _j исходной его причиной была передача сообщения Z_i.

При получении _j адресату становится известно значение условной вероятности , называемой апостериорной вероятностью реализации источником элемента сообщения Z_i. Это позволяет найти апостериорную частную неопределенность, остающуюся у адресата относительно выдачи источников элемента сообщения _j

, (28)

Поскольку получение информации связывается с уменьшением неопределенности, естественно определить частное количество информации I(Z_i), получаемое при приеме элемента сообщения _j относительно реализованного источником элемента сообщения Z_i, как разность частных неопределенностей, имевшихся у адресата до и после получения элемента сообщения (априорной и апостериорной)

(29)

36.Анализ (29) показывает

1. Частное количество информации растет с уменьшением априорной увеличением апостериорной вероятностей реализации элемента сообщения источником.

2. Частное количество информации может быть как положит, отрицат, нулем. Если вероятность реализации источником элементов сообщения Z_i увеличилась после приема элемента сообщения _j , т.е. , то полученное количество информации положительно. Если эта вер-сть не изменилась, т.е. , то имевшая место неопределенность тоже не изменилась и I(z_i)=0. Cлучай соответствует увеличению неопределенности относительно реализации Z_i после получения элемента сообщения _j и, следовательно, частое количество информации отрицательно, т.е. величина дезинформации, внесенной помехами, превышает величину информации, которую несет переданное сообщение.

3. В случае отсутствия помехи апостериорная вероятность . При этом частное количество информации численно совпадают с частной априорной неопределенностью реализации данного элементе сообщения Z_i:

Это максимальное частное количество информации, которое можно получить от элементов сообщения Z_i;

4. Частное количество информации относительно реализации источником элемента сообщения Z_i, содержащееся в элементе сообщения _j, равно частному количеству информации относительно _j, содержащемуся в элементе сообщения Z_i.

По теории Байеса вероятность совместного поступления событий Z_i и _j

Разделив все части уравнения на произведение имеем

Поэтому можно записать

(30)

Найдем среднее количество информации, содержащееся в любом принятом элементе сообщений относительно переданного (реализованного) источником. До получения конкретного элемента сообщения средняя неопределенность, имеющаяся у адресата, относительно реализации источником любого элемента сообщения равна энтропии источника. Ее называют априорной энтропией источника.