-
Информационные характеристики источников дискретных сообщений. Энтропия. Свойства энтропии. Производительность и избыточность источника. Количественная мера информации
В теории и технике связи при определении количества информации не учитывается содержательная сторона сообщений. В основу измерения количества информации положены вероятностные характеристики передаваемых сообщений, которые отражают степень их неопределенности (неожиданности).
Количество
информации
в отдельно взятом сообщении
определяется величиной, обратной
вероятности сообщения
и вычисляется в логарифмических единицах:
,
где
- основание логарифма. Определяет единицу
измерения количества информации:
-
- десятичная единица (дит);
-
- натуральная единица (нат);
-
- двоичная единица (бит).
1 БИТ – количество информации, содержащееся в сообщении, вероятность которого 0,5. Такая единица на практике наиболее удобна вследствие широкого использования двоичных кодов в вычислительной технике и связи.
Если речь идет о зависимых сообщениях, то количество информации в сообщении:
,
где
- условная вероятность сообщения
при условии, что перед ним появились
.
Информационные характеристики источника дискретных сообщений
Рассмотрим
дискретный источник, выдающий
последовательность сообщений из
некоторого ансамбля возможных сообщений
,
где
,
- объем алфавита.
Рассмотрим
дискретный источник, выдающий
последовательность сообщений
из некоторого алфавита.
Среднее количество информации, приходящееся на одно сообщение, выдаваемое дискретным источником, называется энтропией источника:
,
.
Для источника независимых сообщений:
.
Для источника зависимых сообщений вводят понятие условной энтропии, которая характеризует среднее количество информации, которое несет последующий символ сообщения, при условии, что уже известен ряд предыдущих.
,
где
-
вероятность появления
при условии, что перед ним появился
.
Энтропию рассматривают как меру неопределенности в поведении источника. Чем она выше, тем труднее запомнить (записать) сообщение или передать его по каналу связи.
Основные свойства энтропии:
- для дискретных сообщений она – величина вещественная, ограниченная и положительная;
- равна нулю, если с вероятностью 1 всегда выбирается один и тот же символ;
- максимальна, если все символы источника появляются независимо и с одинаковой вероятностью:
;
-
энтропия аддитивна, т. е. Если рассматривать
последовательность из
сообщений
как одно укрупненное сообщение, то
энтропия такого источника будет в
раз больше энтропии исходного источника.
Избыточность источника дискретных сообщений.
Количественно оценивается коэффициентом избыточности:
.
Она показывает, какая доля максимально возможной при этом алфавите энтропии не используется источником.
Причины избыточности:
- различные вероятности отдельных сообщений;
- наличие статистических связей между сообщениями.
Устранение избыточности сообщения – это задача эффективного кодирования источников дискретных сообщений.
Производительность источника – среднее количество информации, создаваемой источником в единицу времени. Измеряется в бит/с.
,
где
- средняя длительность сообщения.
-
Информационные характеристики каналов связи (скорость передачи информации, пропускная способность непрерывного и дискретного каналов связи). Согласование канала связи и источника сообщений (теорема Шеннона).
Скорость передачи информации по каналу
Скорость
передачи информации
по каналу
– среднее количество информации,
получаемое на выходе канала в единицу
времени. Размерность: бит/с.
Скорость передачи информации по идеальному (без помех и искажений) каналу вычисляется аналогично производительности источника. При вычислении скорости передачи информации в канале с помехами необходимо учитывать потери информации.
Для дискретного канала с помехами она определяется выражением:
,
где
- энтропия передаваемого дискретного
первичного сигнала;
-
энтропия потерь в канале для дискретного
первичного сигнала;
-
длительность дискретного первичного
сигнала.
Для непрерывного канала с помехами скорость передачи информации определяется выражением:
,
где
- дифференциальная энтропия передаваемого
непрерывного сигнала;
=
энтропия потерь в канале для непрерывного
первичного сигнала;
-
максимальная частота спектра непрерывного
первичного сигнала.
Потери
информации определяются вероятностью
ошибки
в дискретном канале и уровнем помех в
непрерывном канале и для практических
расчетов скорости передачи информации
по каналу их можно не учитывать при
и отношении сигнал-помеха больше 20 дБ.