- •Д. В. Ломакин прикладная теория информации
- •Предисловие
- •Модели, используемые в статистической теории информации
- •Установление количественной меры информации комбинаторное определение количества информации
- •Определение количества информации по к. Шеннону
- •Прологарифмировав последнее равенство, получим
- •Свойства энтропии Энтропия
- •При равномерном распределении энтропия
- •Ценность информации
- •Собственная информация и энтропия
- •Взаимная информация
- •Условную энтропию можно представить в виде
- •3. Дискретные источники сообщений и их описание эргодические источники
- •Производительность дискретного источника сообщений
- •Марковские источники сообщений
- •4. Кодирование сообщений при передаче по каналу без помех возможность оптимального (эффективного) кодирования
- •Префиксные коды
- •Неравенство крафта
- •Предельные возможности оптимального кодирования
- •Пропускная способность дискретного канала связи
- •Вычисление пропускной способности симметричных каналов
- •Сумма не зависит от номера столбцаj и в общем
Установление количественной меры информации комбинаторное определение количества информации
Комбинаторное определение количества информации дано американским инженером Р. Хартли. Это определение пред- полагает модель с детерминированной связью (помехи отсут-ствуют) между дискретными состояниями двух систем без их вероятностного описания.
До получения сведений о состоянии системы имеется априорная неопределенность ее состояния. Сведения позволяют снять эту неопределенность, то есть определить состояние системы. Поэтому количество информации можно определить как меру снятой неопределенности, которая растет с ростом числа состояний системы.
Количественная мера информации устанавливается следующими аксиомами.
Аксиома 1. Количество информации, необходимое для снятия неопределенности состояния системы, представляет собой монотонно возрастающую функцию числа состояний системы.
В качестве количественной меры информации можно выбрать непосредственно число состояний системы mx, которое является единственной характеристикой множества X.
Однако такое определение не удобно с точки зрения его практического применения. Поэтому в теории информации вводится несколько иная количественная мера информации, которая является функцией тх. Вид указанной функции позволяет установить аксиома 2.
Аксиома 2.Неопределенность состояния сложной системы, состоящей из двух подсистем, равна сумме неопределенностей подсистем.
Если для снятия неопределенности первой подсистемы необходимо количество информации, равное I(т1), а для второй подсистемы количество информации, равное I(m2), то для снятия неопределенности сложной системы необходимо количество информации, равное
I(m1m2) = I(m1) + I(m2) ,
где т1 — число состояний первой подсистемы; т2 — число состояний второй подсистемы; т1 т2—число состояний сложной системы.
Единственным решением полученного функционального уравнения является логарифмическая функция I(т)=К logа т, которая определяет количество информации как логарифм числа состояний системы. Произвольный коэффициент К выбирается равным единице, а основание логарифма а определяет единицу измерения количества информации. В зависимости от значения а единицы измерения называются двоичными (а=2), троичными (а=3) и в общем случае а-ичными. В дальнейшем под символом log будем понимать двоичный логарифм. Двоичная единица иногда обозначается bit (от английского binary digit - двоичный знак).
Каждое передаваемое слово из п букв, записанное в алфавите, содержащем т букв, можно рассматривать как отдельное «укрупненное» состояние источника сообщений. Всего таких состояний (слов) будет тn.
Тогда количество информации, которое несет слово из п букв, равно I=logamn=nlogam. Отсюда следует, что одна буква несет logam а-ичных единиц информации. Если единица измерения информации а=т, то количество информации в слове (I=п) измеряется количеством содержащихся в нем букв, а единица измерения информации определяется размером алфавита т. Таким образом, одна a-ичная единица содержит logam a-ичных единиц информации.