Аксиомы теории информации

1. Мера неопределенности есть непрерывная функция вероятности исходов некоторого опыта.

2. Если исходы опыта равновероятны, то мера неопределенности – монотонно возрастающая функция от числа исходов.

3. Если неопределенность раскрывается по этапам, то полная неопределенность равна взвешенной сумме неопределенностей, полученных на каждом этапе.

1.2. Вероятностный подход к вычислению количества информации. Формула Шеннона. Понятие об энтропии

Пример. Рассмотрим кодирование оптимальным неравномерным кодом дискретной системы с восемью не равновероятными состояниями. Такой пример нам нужен для дальнейшего объяснения подхода Шеннона к определению количества информации.

Рассмотрим систему с восемью состояниями с вероятностями состояний, равными целочисленным степеням двойки.

Таблица кодирования состояний такой системы неравномерным оптимальным кодом (его еще называют кодом Шеннона-Фано) представлена ниже.

xi	pi		Двоичные знаки				Кодовое слово
			1	2	3	4
0	¼	2-2	1	1			11
1	¼	2-2	1	0			10
2	1/8	2-3	0	1	1		011
3	1/8	2-3	0	1	0		010
4	1/16	2-4	0	0	1	1	0011
5	1/16	2-4	0	0	1	0	0010
6	1/16	2-4	0	0	0	1	0001
7	1/16	2-4	0	0	0	0	0000

Правило кодирования:

1) совокупность символов (алфавит или состояния системы), расположенных предварительно в порядке убывания вероятностей появления символов, разбивают на две группы таким образом, чтобы сумма вероятностей появления символов, входящих в группы, была примерно одинаковой;

2) в свою очередь каждая из групп разбивается на две по такому же принципу;

3) операцию продолжают до тех пор, пока в каждой группе не останется по одному символу;

4) каждый символ обозначается двоичным числом: символам, которые находятся выше линии разбиения, присваивают 1, остальным – 0 (или наоборот),– последовательные цифры которого показывают, в какую группу попал данный символ при очередном разбиении.

Обратите внимание на третий столбец, он вспомогательный, но очень важный для дальнейших выводов. Показатель степени соответствует числу знаков (количеству разрядов) в кодовом слове. То есть, как видим из таблицы, состояние источника с вероятностью вида 2^-k имеет кодовое слово с числом знаков k.