Прологарифмировав последнее равенство, получим

log_mP(B_k)=nplog_mp+nqlog_mq+

где величина H(x)=-plog_mp-qlog_mq

является характеристикой источника сообщений и называется э н т р о п и е й .

Покажем, что в случае типичных последовательностей ос­таточным членом О (п) по сравнению с величиной H(X)мож­но пpенебречь.

Поскольку для типичных последовательностей справедли-во неравенство ,то

Следовательно,

.

Таким образом, при достаточно большом п справедливо приближенное равенство

.

Отсюда вероятность появления отдельной типичной после­довательности .

Поскольку правая часть равенства не зависит от номера ти­пичной последовательности k, то все типичные последователь­ности примерно равновероятны. Вероятность появления ти­пичной последовательности

где суммирование ведется по всему множеству типичных

последовательностей. Отсюда.

Q=m ^nH(X) ,

причем единица измерения энтропии Н (X) совпадает с осно­ванием степени т. Поскольку количество информации, нуж­ное для определения числа (состояния регистра), равно

logQ, энтропия равна количеству информации,

которое необходимо для определения состояния одного раз­ряда.

Аналогично определяется количество типичных последо­вательностей, вырабатываемых источником с алфавитом раз­мера т_X , только в этом случае энтропия

.

Свойства энтропии Энтропия

,

поскольку p_i удовлетворяет неравенству . Энтропия H(Х)=0,когда система находится в одном из состояний с вероятностью, равной единице, и во всех остальных—с ве­роятностью, равной нулю. При этом имеется в виду, что

.

При равномерном распределении энтропия

(X)=log m_x

Докажем, что это максимальное значение энтропии. Исполь-

зуя равенство , можно выполнить следующие тождественные преобразования :

для оценки выражения воспользуемся неравенством .

Заменяя , получим

H 1

_0,8

_0,6 рис.1 Энтропия системы

_{0,4 с двумя состояниями :}

p - вероятность одно-

^{0,2 го из состояний}

^{0 0,2 0,4 0,6 0,8 1 P}

,

где log e- модуль перехода . Отсюда

.

Пусть множество Х состоит из двух элементов, которые обозначим через единицу и ноль, причем единица позволяет-

ся с вероятностью, равной р, а ноль — с вероятностью, равной q=1—р. Тогда

.

Указанная зависимость изображена на рис. 1. Максимум достигается при p=q==0,5.

Ценность информации

Все определения ценности информации связаны с поня­тием цели. Ценной считается та информация, которая способ­ствует достижению поставленной цели.

Один из способов измерения ценности информации, сфор­мулированный в рамках статистической теории информации, был предложен А. А. Харкевичем [3]. Ценность информации может быть выражена через приращение вероятности дости­жения цели. Если значение априорной вероятности достиже­ния цели обозначить через p_i, а апостериорной — через р₂, то ценность полученной информации можно определить как

.

В системах передачи информации цель сводится к пра­вильной передаче сообщений независимо от их конкретного содержания и формулируется относительно каждого символа множества X. Пусть целью является принятие решения в пользу x_i. Тогда относительно этой цели ценность сведений,

содержащихся в принятом у₁ равна , где

p(x_i) — априорная вероятность передачи x_i, p(x_i|y_j) — ве­роятность того, что было передано x_i после принятия у_j. При такой формулировке цели ценность информации совпадает с обычным количеством информации, которое определено выше.

Таким образом, количество информации, которое у_j, несет об x_i, равно

Умножая числитель и знаменатель под логарифмом на p(y_j) и учитывая равенства

,

получим

(3)

Отсюда следует, что у_j несет об x_i такое же количество ин­формации, какое x_i несет об у_j (свойство симметрии). Поэтому I (x_i,у_j) называется взаимным количеством информации между i-м символом множества Х и j-м символом множества Y. Взаимное количество информации I(x_i,у_j) может быть положительным (p(x_i|y_j)>p(x_i)), от­рицательным (p(x_i|y_j)<p(x_i)) и равным нулю (p(x_i|y_j)=p(x_i)). Отрицательная информация называется д е з и н ф о р м а ц и е й.