- •Случайная величина. Числовые характеристики.
- •Быстрое преобразование Фурье: назначение и способы реализации. Графы бпф.
- •Случайные процессы: классификация и примеры. Ансамбль реализаций.
- •Математическое описание случайных процессов. Плотности распределения вероятностей.
- •Дискретное преобразование Фурье.???
- •Количественное оценивание плотностей распределения. Начальные и центральные моменты функции.
- •Дискретные экспоненциальные функции: определение и свойства.
- •Стационарные случайные процессы. Определение стационарности в узком и широком смысле.
- •Теорема Шеннона для дискретных каналов без шумов и с шумами.
- •Корреляционные функции стационарных процессов. Физический смысл и свойства.??????
- •Борьба с помехами. Классификация методов.
- •Спектральные представления случайных процессов. Теорема Виннера-Хинчина.
- •Теория информации. Определения и свойства энтропии.
- •Спектральные плотности мощности: физический смысл и свойства.????
- •Полная и условная энтропия.
- •Белый шум.
- •Цифровые фильтры как частный случай конечных динамических систем. Способы описания. Ких- и бих-фильтры. Сравнительный анализ.
- •Гауссовские случайные процессы.
- •Расчет ких-фильтров во временной области. Метод окон. Окна Хемминга.
- •Пуассоновские случайные процессы и их применения.
- •Теория информации. Общая структура информационных систем.
- •Узкополосные случайные процессы.
- •Энтропия как мера неопределенности. Энтропия по Хартли и Шеннону.
- •Определение по Шеннону
- •Телеграфный сигнал как частный случай случайного процесса.????
- •Коды Хемминга.
- •Теорема Парсевалля применительно к случайным процессам. Пример использования для определения интервала дискретизации.
- •Эргодические случайные процессы. Необходимое и достаточное условие эргодичности.
- •Количественные оценки эргодических случайных процессов.
- •Количество информации: определение и свойства.
- •Экспериментальные исследования случ. Процессов. Определение тренда и скрытой периодичности.
- •Эргодические последовательности. Поток энтропии и поток информации. Связь энтропии с полосой занимаемых частот.
- •Теорема Котельникова: смысл, ограничение и практические приложения.
- •Поток информации и избыточность. Назначение избыточности.
- •Дэф и их свойства.
- •Избыточность информационных потоков и ее практическое использование.
- •Приведение дэф по модулю и свойства приведения для четного и нечетного n.
- •Эффективное кодирование. Коды Шеннона-Фано.
- •Коды Хафмана.
- •Общая задача помехоустойчивого приема. Методы борьбы с помехами.
- •Сжатие графических изображений. Стандарты gpeg и mpeg.
Экспериментальные исследования случ. Процессов. Определение тренда и скрытой периодичности.
Тренд – это медленное изменение математического ожидания, проявляющееся в том, что на соседних интервалах отличается на величину, превышающую допуск. В качестве комментария на рис. 4.22 приведены реализации случайного процесса, отличающиеся средним значением , , . Для устранения нежелательных последствий эти средние значения вычитаются из последующих реализаций.
Рис. 4.3. К определению тренда
3. Обнаружение и устранение скрытой периодичности. Для этого достаточно обнаружить на графике корреляционной функции отсутствие затухания, как это показано на рисунке 4.23. Видно, что корреляционная функция не удовлетворяет требованию эргодичности, поэтому вводят составляющую , с помощью которой «гасят» эту периодическую составляющую.
Рис. 4.4. Обнаружение колебательности
Эргодические последовательности. Поток энтропии и поток информации. Связь энтропии с полосой занимаемых частот.
Одна из основных динамических характеристик – скорость передачи, или поток информации. Это количество информации, вырабатываемое источником в единицу времени:
. |
(1.113) |
Единица измерения потока – бит/с или бод. Если, например, информация передаётся двоичным кодом с периодом следования импульсов , то поток информации (бод). В выражении (1.113) называется потоком условной энтропии.
Н
а рис. 1.17 показана диаграмма распределения потоков. Источник вырабатывает поток энтропии , часть которого теряется в информационном канале, поэтому приёмнику «достаётся» только разность, которая и определяет поток информации.
Рис. 1.2. Диаграмма распределения потоков информации
Теорема Котельникова: смысл, ограничение и практические приложения.
Теорема Котельникова. Если функция х(t) имеет спектр, ограниченный верхней частотой FB, то x(t) полностью определяется последовательностью своих значений {.отсчетов) в моменты времени, отстоящие друг от друга на период Т ≤1/2FB.
Математически теорема Котельникова записывается следующим образом
Доказательство теоремы Котельникова дается в общей теории связи. Здесь же отметим, что функция вида sinωBt'/ωBt' (t’ = t — kT) известна нам как функция отсчетов (см. § 5.3), поэтому теорему Котельннкова иногда называют еще теоремой отсчетов.
Физический смысл теоремы Котельникова (19.3) заключается в том, что непрерывная функция x(t) с ограниченным спектром FB полностью может быть восстановлена, если известны ее отсчеты, взятые через интервал Т ≤ 1/2FB. Эта теорема играет очень большую роль в теории связи, т. к. позволяет передачу аналоговых сигналов заменить передачей дискретных или цифровых сигналов, что позволяет существенно повысить эффективность систем связи.
Поток информации и избыточность. Назначение избыточности.
Одна из основных динамических характеристик – скорость передачи, или поток информации. Это количество информации, вырабатываемое источником в единицу времени:
. |
(1.113) |
Единица измерения потока – бит/с или бод. Если, например, информация передаётся двоичным кодом с периодом следования импульсов , то поток информации (бод). В выражении (1.113) называется потоком условной энтропии.
Н
а рис. 1.17 показана диаграмма распределения потоков. Источник вырабатывает поток энтропии , часть которого теряется в информационном канале, поэтому приёмнику «достаётся» только разность, которая и определяет поток информации.
Рис. 1.3. Диаграмма распределения потоков информации
Кроме потока информации обычно задаётся пропускная способность. Пропускная способность информационного канала – это максимально допустимый поток информации в нём:
. |
(1.114) |
Обозначения символов в информационном канале взяты из рис. 1.1. Аналогично можно определить пропускную способность канала связи:
. |
(1.115) |
Очевидно, . Отметим факторы, ограничивающие пропускную способность, при условии, что поток энтропии источника не ограничен.
1. Ограниченный частотный диапазон канала связи. Если принять, что сообщения передаются прямоугольными импульсами периода со скважностью 2, то из (1.28) известно, что частотный диапазон этих импульсов . Отсюда для обеспечения потока информации требуется частотный диапазон . Фактически он меньше, потому что при приёме импульсов достаточно различить два уровня: 0 и 1. Но минимально допустимая полоса частот при этом . Это и есть предельная оценка потока информации.
2. Наличие избыточности сообщений. Об избыточности русскоязычного текста уже говорилось; то же самое можно вывести и для других сообщений. Избыточность, кроме того, возникает при передаче корректирующими кодами, а также при передаче служебных импульсов (стартовых, протокольных, синхронизации т.д.).
Избыточность. Следствием ограничений на выбор источником знаков является также недоиспользование их как переносчиков информации. Известная априорная информация о вероятностях выбора отдельных знаков и их сочетаний приводит к уменьшению средней неопределенности выбора источником знака, а следовательно, и переносимого им количества информации. При равновероятном и некоррелированном выборе ту же информационную нагрузку на знак можно обеспечить, используя алфавит меньшего объема. В связи с этим говорят об избыточности алфавита l источника сообщений или просто об избыточности источника.
Мерой избыточности служит величина D, показывающая, насколько хорошо используются знаки данного источника:
где (Z) — максимально возможная энтропия, равная log l; H(Ζ) — энтропия источника. maxH
Если избыточность источника равна нулю, то формируемые им сообщения оптимальны в смысле наибольшего количества переносимой информации. Для передачи определенного количества информации I при отсутствии помех в этом случае необходимо k=I/[(Z)] знаков. 1 maxH