- •Обобщенная структура системы связи. 3.Характеристики систем связи.
- •Помехи в системах связи. Характеристики помех.
- •4, Информация. Понятие информации. Меры информации.
- •5. Мера Хартли
- •7.Вероятностный подход к измерению информации.
- •8. Статистическая мера количества информации.
- •Типичные сообщения, их свойства.
- •10. Семантический подход к оценке информации.
- •Энтропия дискретных сообщений.
- •Свойства энтропии.
- •Энтропия непрерывных сообщений.
- •14. Распределения с максимальной энтропией.
- •Непрерывные и дискретные сообщения. Общность и различие.
- •Характеристики случайных процессов.
- •18. Понятие стационарности случайного процесса (ссп).
- •Свойство эргодичности ссп.
- •20. Свойства корреляционной функции стационарного случайного процесса
- •23. Эффективная ширина спектра случайного процесса 21. Интервал корреляции.
- •Дискретизация по времени. Факторы, влияющие на выбор интервала дискретизации.
- •25. Теорема котельникова
- •26. Корреляционный критерий
- •Критерий наибольшего допустимого отклонения.
- •Оценка погрешности восстановления сигнала по дискретным отсчетам.
- •Функция отсчетов. Ее свойства.
- •Энтропия статистически зависимых сообщений.
- •31. Квантование по уровню
- •32. Тепловой, дробовый и фликкер шумы
- •Количество информации при наличии помех. 34. Как проявляется действие помех при передаче непрерывных и дискретных сообщений.
- •Скорость передачи информации.
- •Согласование источников сообщений с каналом связи.
- •Цели и задачи кодирования.
- •Оптимальное кодирование.
- •45. Критерий оптимальности кода.
- •Код Шеннона-Фано. Код Хаффмена.
- •Кодирование блоков сообщений.
Энтропия дискретных сообщений.
Свойства энтропии.
Энтропия непрерывных сообщений.
Количество информации, приходящееся на один элемент сообщения, называется удельной информативностью, или энтропией. Энтропия характеризует источник сообщений с заданным алфавитом и является мерой неопределеннссти, которая имеется в ансамбле сообщений этого источника. Чем больше энтропия, тем больше информации несет в себе сообщение источника, тем большая неопределенность
снимается при получении сообщения. Обычно энтропия обозначается буквой Н и определяется выражением:
Количество информации и энтропия являются логарифмическими мерами и измеряются в одних и тех же единицах. Основание логарифма определяет единицу измерения количества информации и энтропии. Двоичная единица соответствует основанию логарифма, равному двум, и называется битом. 1 бит — это количество информации в сообщении об одном из двух равновероятных исходов некоторого опыта. Используются также натуральные и десятичные логарифмы. В этих случаях количество информации выражается в натуральных и десятичных единицах соответственно. Аналогичными единицами пользуются при оценке количества информации с помощью аддитивной меры Хартли
НЕКОТОРЫЕ СВОЙСТВА ЭНТРОПИИ Из выражения (1-13) следует, что количество информации, содержащейся в сообщении, зависит от числа элементов сообщения n, используемого алфавита т и вероятностей выбора элементов рi. Рассмотрим зависимость количества информации и энтропии от этих величин. Нетрудно видеть, что зависимость I от n является линейной. Величины m и рi, влияют на количество информации и энтропию примерно одинаково, поэтому ограничимся рассмотрением основных свойств энтропии.
1. Энтропия является величиной вещественной ограниченной и неотрицательной, т. е. H>0. Это свойство следует из выражения (I—14) с учетом того, что величины рi являются неотрицательными величинами и заключены в промежутке 0 <= рi <= 1. Все слагаемые, входящие в сумму (I—14), являются также величинами неотрицательными и изменяются при изменении рi от нуля до единицы. Используя правила нахождения пределов и максимума функции, убеждаемся, что при рi = 0 и рi = 1 слагаемое — рilogрi равняется нулю и достигает максимального значения, равного 0,531 при рi =1/e. График зависимости величины одного слагаемого от рi приведен на рис. 3. Поскольку все слагаемые суммы вещественны, неотрицательны и конечны, то при любом конечном т энтропия также будет вещественной, неотрицательной и конечной величиной.
Энтропия минимальна и равна нулю, если сообщение известно заранее, т. е. если рi= 1, а р1 = р2 = ... = рi-1 =рi+1 = ...=рn.=0.
Энтропия максимальна, если все состояния элементов сообщений равновероятны. Данное свойство энтропии легко доказывается с помощью методов вариационного исчисления. Мы воспользуемся конечным результатом, согласно которому Н = Нтах, если
Величину максимальной энтропии найдем при использовании
4.Энтропия бинарных сообщений может изменяться от нуля до единицы. Бинарные сообщения характеризуются использованием двоичного алфавита, т. е. т = 2. Для таких сообщений
Используя условие для данного случая и обозначив
Зависимость энтропии бинарных сообщений от вероятности выбора одного из элементов приведена на рис. 4. Энтропия достигает максимума, равного единице, при р1 = р2 = 0,5
ЭНТРОПИЯ НЕПРЕРЫВНЫХ СООБЩЕНИЙ Hепрерывные сообщения могут принимать любые значения в некоторых пределах и являются непрерывными функциями времени. Особенностью непрерывных сообщений является то, что вероятность появления каждого из отдельных значений равна нулю. .Статистические свойства непрерывной величины характеризуют функцией плотности вероятности распределения ее значений р (х). Функцию р (х} называют также дифференциальным законом распределения величины х. Данная функция характеризует вероятность попадания непрерывной случайной величины х в некоторый элементарный интервал значений Δx. Эта вероятность определяется произведением р (х) Δx; и стремится к нулю при уменьшении ширины интервала.
С учетом сделанного предположения можно определить энтропию непрерывных сообщений на основании (I - 14), если вероятности выразить через соответствующие плотности вероятности и найти предел при Δx -> 0. В этом случае
При уменьшении Δx; (увеличении m) первое слагаемое в пределе стремится к интегралу, пределом второго слагаемого будет — logΔx. Таким образом (1-39) примет вид:
Информативность непрерывных сообщений, обусловленная их статистическими свойствами, полностью определяется первым слагаемым, тогда как второе слагаемое зависит лишь от выбранного интервала Δx и является постоянной величиной (при постоянном Δx). Первое слагаемое в (1-40) называется дифференциальной энтропией. При решении конкретных задач обычно используется выражение для дифференциальной энтропии без специальных оговорок, а величина
называется энтропией и характеризует количество информации, приходящейся на один отсчет непрерывного сообщения.
Поскольку информативность сообщений является функцией дифференциального закона распределения, целесообразно определить вид функции плотности вероятности р (х), при которой энтропия будет максимальной. Практическое значение имеют два случая.
Энтропия непрерывных сообщений Непрерывное сообщение, как случайная величина, характеризуется дифференциальным законом распределения вероятностей w (х).
Пусть функция распределения плотности вероятности непрерывного сообщения имеет вид (рис. 4.3).
Для определения энтропии непрерывных сообщений воспользуемся в качестве исходного выражения (4.4) для энтропии дискретных сообщений. В связи с этим разобьем шкалу уровней непрерывной случайной величины х на небольшие участки Δx, и внутри каждого участка выберем точки xi так, чтобы выполнялось условие
(4.7)
Выражение (4.7) характеризует вероятность р(хi) попадания случайной величины х в интервал Δxi (рис. 4.3) при замене непрерывной случайной величины х совокупностью дискретных сообщений хi, вероятности поступления которых определяются выражением (4.4). Такая замена будет тем точнее, чем меньше участки Δxi.
Энтропия эквивалентного дискретного сообщения в соответствии с (4.4)
Чтобы получить выражение для энтропии непрерывного сооб-щения, осуществим предельный переход при Δxi i-> 0.
(4.8) так как
Второй член выражения (4.8) при Δxi -> 0 стремится к бесконечности. Следовательно, энтропия непрерывного сообщения должна быть равна бесконечности. Однако в реальных условиях отсчет сообщений на приемной стороне производится в дискретных точках вследствие конечной точности и разрешающей способности аппаратуры, т. е. интервалы Δxi имеют конечную величину. Поэтому выражение (4.8), определяющее энтропию непрерывного сообщения, имеет две составляющие, одна из которых определяется законом распределения сообщения, а вторая является постоянной величиной и обычно исключается из рассмотрения.
Первое слагаемое
(4.9)
представляет собой так называемую дифференциальную энтропию. Дифференциальная энтропия зависит от статистики сообщений. Если положить величину х безразмерной, то h (х) можно измерять в двоичных единицах, приходящихся на один определяющий дискрет вымысле В. А. Котельникова. Следует, однако, иметь в виду, что в отличие от энтропии дискретных сообщений величина h (х) является относительной, так как зависит от масштаба х, а значит, от выбора единицы измерения. В связи с этим h(x) отдельно не может служить абсолютной мерой неопределенности непрерывного сообщения.
Доказано , что при заданной средней мощности (дисперсии) максимальной энтропией обладает нормальный закон распределения вероятностей. Если же задана пиковая мощность, то максимальной энтропией обладает равновероятный закон распределения.