Глава 2. Информация

2.1. Понятие информации

Понятие информации весьма широко и многосторонне, поэтому оно имеет целый ряд определений и синонимов: информация – это обозначение содержания, полученного из внешнего мира, или отрицание энтропии (Винер) или негэнтропия (Бриллюэн); это коммутация, связь (Шеннон); ограничение разнообразия (Эшби); оригинальность, мера сложности (Моль); вероятность выбора (Майлз Мартин) и т. д. К этим «определениям» следует добавить понятие информации как данных, ценных для принятия решений.

Начиная с работ Н. Винера, К. Шеннона, Дж.(Яноша) фон Неймана до настоящего времени каждая попытка дать универсальное определение информации терпит крах из-за неразрешимости основного вопроса: един ли для всех «приемников» информации предлагаемый критерий отбора из всего множества воздействий материального мира тех и только тех воздействий, которые несут информацию для данного «приемника»?

В настоящее время наиболее распространено убеждение, что такого универсального критерия и, следовательно, универсального определения информации не существует. Специфика информации определяется в первую очередь основной целью функционирования системы. С этой точки зрения информацией являются все сведения об объекте, полезные «приемнику» (человеку, коллективу, человеко-машинной системе) для решения задачи (достижения цели). Если данные сведения не нужны, они представляют собой «шум».

Получение информации всегда связано с уменьшением неопределенности. Среднее количество информации, которое содержится в каждом исходе опыта, относительно любого еще не наступившего исхода равняется разности априорной и апостериорной энтропий опыта:

.

Априорной энтропией называется неопределенность, которая высчитывается до наступления исхода опыта. Она равняется .

Апостериорной энтропией называют среднюю неопределенность опыта после наступления всех исходов. Она равна условной энтропии .

Таким образом,

(2.1)

Или согласно определению энтропии и правилу сложения вероятностей

Иначе

(2.2)

Разность (2.1) указывает, насколько осуществление опыта уменьшает неопределенность , т. е. как много нового узнаем мы об исходе опыта , произведя измерение (наблюдение) ; эту разность называют количеством информации относительно опыта , содержащимся в событии , или, информацией о , содержащейся в .

Так как понятие информации, связанное с определенными изменениями в условиях опыта , является, так сказать, «более активным», чем понятие энтропии, то для лучшего уяснения смысла энтропии полезно свести это последнее понятие к первому. Энтропию опыта можно определить как информацию относительно , содержащуюся в самом этом опыте (ибо осуществление самого опыта , разумеется, полностью определяет его исход и, следовательно, ), или как наибольшую информацию относительно , какую только можно иметь («полную информацию» относительно ). Иначе говоря, энтропия опыта равна той информации, которую мы получаем, осуществив этот опыт, т.е. средней информации, содержащейся в одном исходе опыта . Заметим, что в практических задачах нас всегда интересует только это среднее количество информации; представление же о количестве информации, связанном с отдельными исходами опыта, почти никогда не употребляется. Или энтропия равна математическому ожиданию информации. Эти выражения, понятно, имеют тот же смысл, что и «мера неопределенности»: чем больше неопределенность какого-либо опыта, тем большую информацию дает определение его исхода.

Нередко при рассмотрении опытов оказывается, что они имеют непрерывное множество исходов. Во всех таких случаях энтропия оказывается бесконечной; однако вместо нее часто можно рассматривать конечную энтропию , получаемую при объединении исходов , отличающихся не более чем на некоторое малое , в один исход. В практических задачах обычно только энтропия (называемая -энтропией опыта ) и имеет смысл, так как мы вообще не можем различить между собой исходы , отличающиеся меньше чем на некоторую малую величину (определяемую точностью имеющихся в нашем распоряжении измерительных приборов).

Для непрерывных случайных величин

. (2.3)

Разность между величиной максимальной энтропии Н_max и реальной энтропии Н соответствует количеству избыточной (предсказуемой) информации I_n.

Таким образом:

I_n = H_max – H. (2.4)

Кроме того, затрагивая вопросы кодирования нельзя не упомянуть об эффективности и избыточности кодов.

Эффективность кода, т.е. колическтво информации, передаваемое в среднем в единицу времени

, (2.5)

где , если символу алфавита соответствует символ кода . Эффективность измеряется в битах на время.

Избыточность кода вычисляется по формуле

. (2.6)

Если избыточность источника равна нулю, то формируемые им сообщения оптимальны в смыле наибольшего переносимого количества информации.

Пример. Сообщение состоит из последовательности трех букв А, В и С. Вероятности их появления не зависят от предыдущего сочетания букв и равны Р(А) = 0,7, Р(В) = 0,2 и Р(С) = 0,1. Произвести кодирование по методу Шеннона-Фано отдельных букв и двухбуквенных сочетаний. Сравнить коды по их избыточности.

Решение

Для отдельных букв имеем.

Здесь фигурными скобками показано разбиение на группы.

Д ля двухбуквенных сочетаний вначале высчитаем вероятности их появлений.

Максимальная энтропия равна . Для первого случая избыточность кода равна

.

Аналогично для второго .