2 Информационные характеристики цифровых сигналов
2.1 Собственная информация. Взаимная информация
Описание дискретного канала. Цифровымым называется такой канал, сигналы на входе и выходе которого являются последовательностями дискретных случайных величин (символов).
Для полного описания канала
на интервале времени, соответствующем
передаче одного символа, необходимо
задать ансамбли символов на входе
и выходе
и условные вероятности переходов
.
В дальнейшем
будем обозначать:
- ансамбль
сообщений на входе,
- ансамбль
сигналов на выходе.
Собственная
информация.
Поскольку появление символа сообщения
на входе дискретного канала есть событие
случайное, то имеет место неопределенность
исхода. В результате опыта неопределенность
уменьшается или даже исчезает полностью,
и при этом получается некоторое количество
информации.
Тогда собственная информация символа xj (количество информации, доставляемое самим символом xj или любым другим, однозначно с ним связанным) определяется как
|
(2.1.1) |
,т.е. информация в каком-либо событии измеряется логарифмом величины, обратной вероятности его появления.
Выбор
основания логарифма
определяет единицу количества информации.
Если
,
то единица информации называется
двоичной (бит), при
– натуральной (нат), а при
– десятичной. Двоичная единица количества
информации, например, есть собственная
информация символа, обладающего двумя
равновозможными состояниями. Переход
от одной системы логарифмов к другой
равносилен простому изменению единицы
измерения информации. Этот переход
осуществляется по формуле
.
Отсюда
,
.
Условная
собственная информация.
В общем случае сообщения
и сигналы
на входе и выходе дискретного канала
зависимы. Пусть
- условная вероятность того, что
реализовалось состояние
ансамбля
при условии, что ансамбль
принял состояние
.
Тогда, по аналогии с собственной,
информация, содержащаяся в символе
сообщения
при условии, что сигнал принял значение
,
определяется как
|
(2.1.2) |
и называется условной собственной информацией.
Взаимная
информация. Обратимся
снова к ансамблям
и
.
Пусть ансамбли зависимы. В результате
опыта (приема символа сигнала
)
апостериорная вероятность
появления символа
изменяется по сравнению с априорной
.
Тогда количество информации относительно
символа сообщения
,
доставляемое символом сигнала
,
можно определить как логарифм отношения
апостериорной вероятности к априорной
|
(2.1.3) |
.Это и есть взаимная информация.
Основные свойства взаимной информации.
1) Взаимная информация может быть отрицательной, положительной и равной нулю в зависимости от соотношения между априорной и апостериорной вероятностями
|
(2.1.4) |
2) Взаимная информация не превышает собственную
|
(2.1.5) |
,
.
При
данной вероятности
взаимная информация
достигает максимума, когда принятый
символ
однозначно определяет переданный символ
.
При этом
и максимальное значение взаимной информации
,
равно собственной информации, определяемой только априорной вероятностью символа .
3) Свойство симметрии
|
(2.1.6) |
,т.е. информация, содержащаяся в относительно , равна информации, содержащейся в относительно . В силу этого свойства информацию называют взаимной информацией между и .
4) Свойство аддитивности количества информации
|
(2.1.7) |
Если
пара
независима от пары
,
то информация, содержащаяся в пape
относительно пары
,
равна сумме информации, содержащейся
в
относительно
,
и информации, содержащейся в
относительно
.