16. Энтропия и информация

• виды информации: собственная информация, условная информация, взаимная информация;

• энтропия вероятностной схемы и ее свойства;

• условная энтропия и ее свойства.

• взаимная информация и ее свойства.

• дискретный источник без памяти.

а) виды информации: собственная информация, условная информация, взаимная информация; г) взаимная информация и ее свойства;

Определение

Распределение вероятностей — это закон, описывающий область значений случайной величины и вероятности их принятия.

Определение

Конечное множество U вместе с заданным на нём распределением вероятностей называется дискретным ансамблем сообщений и обозначается символом .

Определение

Пусть на множестве задано совместное распределение вероятностей , которое каждой паре , сопоставляет вероятность . Ясно, что соотношения и задают распределение вероятностей и на множествах X и Y. Таким образом при задании ансамбля фактически задаются ещё два ансамбля и . Ансамбли и будем называть совместно задаваемыми с ансамблем .

Определение

Собственная информация - мера неопределенности исхода введеная Шеноном I(x_k)=log(1/p_k).

Пусть и совместно заданы с ансамблем . Зафиксируем некоторое элементарное сообщение и рассмотрим условное распределение на X. Для каждого сообщения в ансамбле определена собственная информация: , которая называется условной собственной информацией элемента сообщения при фиксированном сообщении .

Определение

Количеством информации о сообщении , содержащейся в сообщении , называется величина . Так как , то . Поэтому количество информации о сообщении и сообщении равно количеству информации о сообщении в сообщении , то есть .

На этом основании называют количеством взаимной информации между сообщениями x и y или просто взаимной информацией между сообщениями x и y.

Взаимная информация между сообщениями обладает следующими свойствами:

1. Если сообщения x и y независимы, то есть , то сообщение y не даёт никакой информации о сообщении x. В этом случае .

2. Если сообщение y содержит в себе сообщение x, то есть , тогда

Определение

Математическое ожидание случайной величины на ансамбле называется средним количеством взаимной информации или просто средней взаимной информацией между ансамблями и

б) энтропия вероятностной схемы и ее свойства;

Определение

Среднее количество информации, содержащееся в отдельном сообщении, называется энтропией источника

Свойства энтропии

1. Энтропия любого дискретного источника неотрицательна . Равенство возможно лишь в том случае, когда источник генерирует одно единственное сообщение с вероятностью равной единице.

2. Пусть N объём алфавита дискретного источника. Тогда , причём равенство имеет место лишь в том случае, когда все сообщения равновероятны.

Так как при и , то

т.е.

3. Свойство аддитивности: энтропия нескольких совместно заданных статических дискретных источников сообщений равна сумме энтропий исходных источников.

Энтропия совместного источника , X и Y независимы, равна

в) условная энтропия и ее свойства;

Определение

Математическое ожидание случайной величины , определённой на ансамбле называется условной энтропией ансамбля X относительно ансамбля Y.

Свойства условной энтропии.

1. , равенство имеет место когда ансамбли X и Y статистически независимы

Равенство возможно когда , то есть когда x и y независимы для всех и

2. Имеет место соотношение

называемое свойством аддитивности энтропии. В самом деле с помощью равенства , находим . Аналогично, пользуясь соотношением можно получить .

3. Свойство аддитивности допускает обобщение. Если n совместно заданных ансамблей, тогда

.

Доказательство по индукции:

1)для n =2 доказано выше

2) шаг H(X₁...X_n)= H(X_n|X₁...X_n-1)= H(X₁) + H(X₂|X₁) + ... + H(X_n|X₁....X_n-1) чтд.

Из свойства 3 следует, что и равенство возможно когда ансамбли статистически независимы, то есть , где . Если источники совпадают с источником и статистически независимы, то .

д) дискретный источник без памяти.

Определение : Дискретным источником без памяти(ДИБП) называется источник сообщений такой что для любых и любой последовательности , имеет место равенство