Лекция 12 Количество информации как мера снятой неопределенности.

Передача информации диктуется желанием устранить неопределенность относительно последовательности состояний, реализуемых некоторым источником информации.

Информация проявляется всегда в форме сигналов. Сигналы Z, поступающие с выхода первичного преобразователя источника информации на вход канала связи, принято называть сообщениями в отличие от сигнала “u”, формирующегося на входе линии связи.

Отдельные первичные сигналы с выхода источника дискретных сообщений называют элементами сообщений. Каждому элементу сообщения соответствует определенное состояние источника информации.

Основное понятие теории информации – количество информации – рассмотрим применительно к передаче отдельных статистически несвязанных элементов сообщения. Дискретный источник сообщений при этом полностью характеризуется ансамблем

Передача информации от дискретного источника.

Выясним на сколько изменится неопределенность относительно состояния источника сообщения при получении адресатом элемента сообщения с выхода канала связи. Алфавиты передаваемых и принимаемых элементов сообщений считаем идентичными.

Вследствие воздействия помех полученный (сигнал) элемент сообщения в общем случае отличается от переданного, поэтому принимаемые элементы сообщения обозначим другими буквами: ₁, ₂, …, _i, …, _N.

Априорная неопределенность (неопределенность до получения элемента сообщения) относительно источника сообщений не является полной. Предполагается, что адресату известен алфавит элементов сообщения, а из прошлого опыта он знает вероятности их появления. Считая, что состояние источника реализуется независимо, априорная частотная неопределенность появления элемента сообщения Z_i

где априорная вероятность появления элемента сообщения Z_i.

Предполагаются также известными некоторые сведения относительно помехи в канале связи. Обычно считают, что между элементами сообщения и помехой статистические связи отсутствуют, искажения отдельных элементов сообщения являются событиями независимыми и адресату известна совокупность условных вероятностей того, что вместо элемента сообщения Z_i будет принят сигнал _j, т.е., что при получении сообщения _j исходной его причиной была передача сообщения Z_i.

При получении _j адресату становится известно значение условной вероятности , называемой апостериорной вероятностью реализации источником элемента сообщения Z_i. Это позволяет найти апостериорную частную неопределенность, остающуюся у адресата относительно выдачи источников элемента сообщения _j

(28)

Поскольку получение информации связывается с уменьшением неопределенности, естественно определить частное количество информации I(Z_i), получаемое при приеме элемента сообщения _j относительно реализованного источником элемента сообщения Z_i, как разность частных неопределенностей, имевшихся у адресата до и после получения элемента сообщения (априорной и апостериорной)

(29)

Анализ (29) показывает

1. Частное количество информации растет с уменьшением априорной и увеличением апостериорной вероятностей реализации элемента сообщения источником.

2. Частное количество информации может быть как положительным, так и отрицательным, а так же нулем. Если вероятность реализации источником элементов сообщения Z_i увеличилась после приема элемента сообщения _j , т.е. , то полученное количество информации положительно. Если эта вероятность не изменилась, т.е. , то имевшая место неопределенность тоже не изменилась и I(z_i)=0. Cлучай соответствует увеличению неопределенности относительно реализации Z_i после получения элемента сообщения _j и, следовательно, частое количество информации отрицательно, т.е. величина дезинформации, внесенной помехами, превышает величину информации, которую несет переданное сообщение.

3. В случае отсутствия помехи апостериорная вероятность . При этом частное количество информации численно совпадают с частной априорной неопределенностью реализации данного элементе сообщения Z_i:

Это максимальное частное количество информации, которое можно получить от элементов сообщения Z_i;

4. Частное количество информации относительно реализации источником элемента сообщения Z_i, содержащееся в элементе сообщения _j, равно частному количеству информации относительно _j, содержащемуся в элементе сообщения Z_i.

По теории Байеса вероятность совместного поступления событий Z_i и _j

Разделив все части уравнения на произведение имеем

Поэтому можно записать

(30)

Найдем среднее количество информации, содержащееся в любом принятом элементе сообщений относительно переданного (реализованного) источником. До получения конкретного элемента сообщения средняя неопределенность, имеющаяся у адресата, относительно реализации источником любого элемента сообщения равна энтропии источника. Ее называют априорной энтропией источника.

Средняя неопределенность относительно любого состояния источника, остающаяся у адресата после получения конкретного элемента сообщения _j, характеризуется частной условной энтропией :

(31)

Это случайная величина, зависящая от того, какой конкретно элемент принят.

Средняя неопределенность по всему ансамблю принимаемых элементов сообщений равна условной энтропии источника H_W(Z):

(32)

Эту энтропию называют апостериорной энтропией источника информации.

Таким образом, при наличии помех среднее количество информации, содержащееся в каждом принятом элементе сообщения, относительно любого переданного равно разности априорной и апостериорной энтропий источника:

(33)

Подставив выражения H(Z) и H_W(Z) из (6) и (32) в (33) и проведя несложные преобразования, получим формулу для количества информации непосредственно через вероятности:

(34)

Справка. Учитывая, что сумма условных вероятностей P(z_i/_j) отвечает условию нормирования, т.е. , можем записать:

В общем случае H_W(z) есть величина дезинформации вносимой помехами (шумами).

Можно показать, что справедливо и другое выражение

(35)

Доказано, что , т.е. среднее количество информации не может быть отрицательным.

При подсчете количества информации удобно применение двоичных логарифмов. Пусть объект имеет два возможных состояния. Тогда для передачи сообщений о состоянии объекта можно применить элементарный двухпозиционный сигнал. Если вероятности обоих состояний объекта равны между собой, т.е. P_i=1/2, то при пользовании двоичными логарифмами энтропия источника H(Z)=1. Этой же величине равно количество информации I, если в канале нет помех. В данном случае один элементарный сигнал несет одну двоичную единицу информации.

С помощью k элементарных двоичных сигналов можно передать сообщение об объекте, имеющем 2^k возможных состояний. Если все эти состояния равновероятны, то каждое сообщение из k символов имеет количество информации, равное k двоичным единицам. Этим объясняется удобство применения двоичных логарифмов. Двоичная единица информации называется битом.

66