Вопросы ТИ

№12 Равномерная дискретизация. Теорема Котельникова

     Правило выбора предельного шага при равномерной дискретизации с использованием модели сигнала с ограниченным спектром сформулировано академиком В. А. Котельниковым: «Любая непрерывная функция s(t), спектр которой ограничен частотой F_max полностью определяется последовательностью своих значений в моменты времени, отстоящие друг от друга на интервал » Кроме того, теорема Котельникова дает и способ точного восстановления сигнала  по его отсчетам.

Доказательство

 причем  при         (1)

Разложим функцию  в частотной области на конечном интервале  (с периодом ) в комплексный ряд Фурье :

где                                                                (2)

                                                      (3)

Сравнивая интегралы в (3) и (1), видно, что они равны при , т. е.  тогда

                                                                            (4)

Подставляем (4) в (2), а затем в (1)

 

т. к. суммирование по от -¥ до +¥, то можно заменить знак у .

                               (5)

Максимальные значения членов ряда будут при  и равны , при этом все остальные члены ряда равны нулю, т. е. при   функция s(t) точно передается рядом. Во все другие моменты времени необходимо суммировать бесконечное число отсчетов, чтобы передать s(t) точно.

     Представление сигнала в виде ряда Котельникова (5) является частным случаем разложения . Роль коэффициента  выполняют отсчеты  Базисными являются функции вида  Они называются функциями отсчетов. Функции отсчетов ортогональны, т. к.

Спектральная плотность функции отсчета на частотной шкале есть прямоугольник шириной  (идеальный фильтр н.ч.).      Теорема Котельникова распространяется на непрерывный стационарный случайный процесс с ограниченным спектром

Такой процесс представляется (заменяется) суммой квазидетерминированных процессов, где роль ортогональных детерминированных функций выполняют функции отсчета, а случайных коэффициентов - величины выборок:

, где

Т. о., при указанных ограничениях случайный процесс полностью определяется счетным множеством случайных величин - координат процесса.

     Практическое осуществление дискретизации сигнала  рядом Котельникова и дальнейшее его восстановление сводится к следующему. На передающей стороне через интервалы  определяются мгновенные значения  сигнала и передаются в канал связи в виде d-импульсов с площадью, равной отсчету  На приемной стороне такая последовательность импульсов пропускается через идеальный фильтр нижних частот  При длительной передаче сигнал на выходе фильтра будет точно воспроизводить переданный непрерывный сигнал

     Искажения восстановленного (по Котельникову) сигнала могут происходить по следующим причинам. Реальный сигнал имеет конечную длительность и, следовательно, обладает неограниченным спектром. Дискретизация его с интервалом  ограничивает спектр  и, следовательно, искажает воспроизведение сигнала. С другой стороны, и при передаче непрерывного сигнала вследствие ограничения полосы пропускания аппаратуры сигнал искажается. Однако при дискретизации появляется дополнительное искажение за счет конечности числа отсчетов за ограниченное время длительности сигнала, в то время как их должно быть бесконечно много, т. к. ограничению спектра сигнала соответствует увеличение его длительности до бесконечности. Такое двойное искажение хотя и может частично компенсироваться, но создает трудности для теоретического анализа погрешности передачи.

№14 Энтропия дискретного источника сообщений

При разных вероятностях сообщения несут различное количество информации . При решении большинства практических задач необходимо знать среднее количество информации, приходящееся на один элемент сообщения. Это среднее количество информации при общем числе элементов сообщения источника n и числе символов алфавита m равно:

(бит/сообщение).

(4.2)

Величину  называют энтропией источника сообщений. Физически энтропия  выражает среднюю неопределенность состояния источника сообщений и является объективной информационной характеристикой источника. Энтропия всегда положительна и принимает максимальное значение при равновероятных сообщениях [2]:

.

(4.3)

Минимальное значение энтропии  соответствует случаю, когда одна из вероятностей , а остальные равны нулю, т.е. имеется полная определенность.

Для источника с зависимыми сообщениями энтропия тоже вычисляется как математическое ожидание количества информации на один элемент этих сообщений. Следует заметить, что полученное в этом случае значение энтропии будет меньше, чем для источника независимых сообщений. Это следует из того, что при наличии зависимости сообщений неопределенность выбора уменьшается и, соответственно, уменьшается энтропия

Определим энтропию двоичного источника. Из формулы (4.2) получим:

(4.4)

График зависимости (4.4) представлен на рис. 4.1. Как следует из графика, энтропия двоичного источника изменяется в пределах от нуля до единицы. Энтропия равна нулю, когда вероятность передачи одного из символов равна нулю или единице, т.е. передается только одно сообщение. Получение же одного единственно возможного сообщения никакой новой информации не дает. Энтропия двоичного источника будет максимальна, если существует наибольшая неопределенность, т.е. . При этом .

Избыточность источника сообщений

Избыточными в источнике являются сообщения, которые несут малое, иногда нулевое, количество информации. Наличие избыточности означает, что часть сообщений можно и не передавать по каналу связи, а восстановить на приеме по известным статистическим связям.

Количественно избыточность оценивается коэффициентом избыточности:

,

(4.5)

где    – энтропия источника;  – максимальная энтропия источника с алфавитом из  сообщений.

 

Производительность источника сообщений

[бит/с],

где    – интервал времени для передачи элементарного сообщения.

Физический смысл производительности – количество информации, выдаваемое источником в среднем за единицу времени (одну секунду) его непрерывной работы.