- •Теория информации
- •Глава 1 математические модели сигналов
- •§ 1.1. Понятия сигнала и его модели
- •§ 1.2. Формы представления детерминированных сигналов
- •§ 1.3. Временная форма представления сигнала
- •§ 1.4. Частотная форма представления сигнала
- •§ 1.5. Соотношения между длительностью импульсов и шириной их спектров
- •§ 1.6. Спектральная плотность мощности детерминированного сигнала
- •§ 1.7. Функция автокорреляции детерминированного сигнала
- •§ 1.8. Случайный процесс как модель сигнала
- •§ 1.9. Стационарные и эргодические случайные процессы
- •§ 1.10. Спектральное представление случайных сигналов
- •§ 1.11. Частотное представление стационарных
- •Глава 2. Преобразование непрерывных сигналов в дискретные
- •§ 2.1. Преимущества цифровой формы представления сигналов
- •§ 2.2. Общая постановка задачи дискретизации
- •Воспроизводящая функция представляется аппроксимирующим полиномом
- •§ 2.3. Способы восстановления непрерывного сигнала
- •§ 2.4. Критерии качества восстановления
- •§ 2.5. Методы дискретизации посредством выборок
- •§ 2.6. Равномерная дискретизация. Теорема котельникова
- •§ 2.7. Теоретические и практические аспекты использования теоремы котельникова
- •§ 2.8. Дискретизация по критерию наибольшего отклонения
- •Оценка снизу для остаточного члена имеет вид
- •§ 2.9. Адаптивная дискретизация
- •Момент очередного отсчета определяется выполнением равенства
- •§ 2.10. Квантование сигналов
- •§ 2.11. Квантование сигналов при наличии помех
- •§ 2.12. Геометрическая форма представления сигналов
- •Контрольные вопросы
- •Глава 3. Количественная оценка информации
- •§ 3.1. Энтропия как мера неопределенности выбора
- •§ 3.2 Свойства энтропии
- •§ 3.3. Условная энтропия и ее свойства
- •§ 3.4. Энтропия непрерывного источника информации (дифференциальная энтропия)
- •§ 3.5. Свойства дифференциальной энтропии
- •§ 3.6. Количество информации как мера снятой неопределенности
- •§ 3.7. Эпсилон-энтропия случайной величины
- •Контрольные вопросы
- •Глава 4. Информационные характеристики источника сообщений и канала связи
- •§ 4.1. Основные понятия и определения
- •§ 4.2. Информационные характеристики источника дискретных сообщений
- •§ 4.3 Информационные характеристики дискретных каналов связи
- •§ 4.4. Информационные характеристики источника непрерывных сообщений
- •§ 4.5. Информационные характеристики непрерывных каналов связи
- •§ 4.6. Согласование физических характеристик сигнала и канала
- •§ 4.7. Согласование статистических свойств источника сообщений и канала связи
- •Глава 5. Кодирование информации при передаче по дискретному каналу без помех
- •§ 5.1. Кодирование как процесс выражения информации в цифровом виде
- •§ 5.2. Технические средства представления информации в цифровой форме
- •§ 5.3. Кодирование как средство криптографического закрытия информации
- •§ 5.4. Эффективное кодирование
- •§ 5.5. Технические средства кодирования
- •Глава 6. Кодирование информации при передаче
- •§ 6.1. Основная теорема шеннона о кодировании
- •§ 6.2. Разновидности помехоустойчивых кодов
- •§ 6.3. Блоковые коды
- •§ 6.4. Построение двоичного группового кода
- •§ 6.5. Технические средства кодирования и декодирования для групповых кодов
- •§ 6.6. Построение циклических кодов
- •§ 6.7. Выбор образующего многочлена по заданному объему кода и заданной корректирующей способности
- •§ 6.8 Технические средства кодирования и декодирования для циклических кодов
- •Остатки Векторы ошибок Опознаватели
- •Остатки Векторы ошибок Остатки
- •§ 6.9. Коды боуза — чоудхури — хоквингема
- •§ 6.10. Итеративные коды
- •Ч исло ошибок такого вида в4 для блока из lхn символов равно
- •§ 6.11 Сверточные коды
- •Контрольные вопросы
- •Заключение
- •Список литературы
- •Приложения
§ 2.2. Общая постановка задачи дискретизации
В самом общем случае представление непрерывного сигнала u(t) на интервале Т совокупностью координат (с1, с2, ..., cN) может быть записано в виде
где А — оператор дискретного представления сигнала, реализуемый устройством, называемым дискретизатором.
Аналогично можно записать и операцию восстановления по совокупности координат (с1, c2, ..., cN) непрерывной функции u*(t) (воспроизводящей функции), отображающей исходный сигнал с некоторой текущей погрешностью приближения (t) = u(t) — u*(t):
где В — оператор восстановления, реализуемый устройством восстановления сигнала.
Задача дискретизации в математическом плане сводится к совместному выбору пары операторов A и B, обеспечивающих заданную точность восстановления сигнала.
Рассмотрим разновидности используемых операторов A и B и критериев оценки точности восстановления сигнала.
Широкое практическое применение нашли линейные операторы, поскольку их техническая реализация проще. Для определения координат сигнала используется соотношение
где {ξj(t)} - система функций, которые для определенности назовем весовыми.
Воспроизводящая функция представляется аппроксимирующим полиномом
где {j(t)} - система базисных функций.
При одном и том же операторе представления А для восстановления могут использоваться различные операторы В.
Из соотношений (2.3) и (2.4) следует, что произведения [ξj(t)φj(t)] должны иметь размерность, обратную времени.
Методы дискретизации в первую очередь разделяются в зависимости от способа получения координат сигнала.
В случае, когда в качестве весовых функций используются базисные функции [ (t) = j(t)], координаты с1, c2, ..., cN сигнала u(t) получаются «взвешенным» интегрированием сигнала на некотором интервале времени Т. При этом предполагается, что базисные функции ортогональны и обеспечивают сходимость в среднеквадратичном ряде (2.4) к u(t) при N [условие (1.8)], что дает возможность ограничить число координат в соответствии с заданной погрешностью восстановления.
Предъявляя дополнительные требования к базисным функциям, можно провести дискретизацию различных моделей сигнала. Хотя дискретизации всегда подвергается конкретная реализация случайного процесса и, следовательно, детермированная функция, в большинстве случаев алгоритм дискретизации выбирают неизменным для всего множества реализаций и поэтому он должен опираться на характеристики случайного процесса как модели сигнала.
Методы дискретизации следует рассматривать как с позиций полезности для решения теоретических вопросов передачи и преобразования сигналов, так и с позиций возможности их технической реализации. В теоретическом плане весьма важны методы дискретизации, обеспечивающие минимальное число координат при заданной погрешности воспроизведения. Их называют методами оптимальной или предельной дискретизации.
Если за модель сигнала принять нестационарный случайный процесс, как наиболее полно отражающий свойства реального сигнала, некоррелированность координат, а следовательно, и их минимальное число обеспечивают каноническое разложение этого процесса. В качестве базисных функций j(t) должны использоваться координатные функции. Коэффициенты разложения сk будут искомыми координатами.
В силу сложности нахождения координатных функций указанная процедура не нашла пока применения в инженерной практике. Поэтому идут по пути упрощения модели, предполагая сигнал стационарным или квазистационарным. Некоррелированные координаты, как и ранее, дает только каноническое разложение, однако определение координатных функций упрощается. В качестве таковых могут быть взяты, например, тригонометрические функции. Разложение процесса на ограниченном интервале времени, превышающем длительность корреляции, принимает вид ряда Фурье, но с коэффициентами-координатами, являющимися случайными величинами (1.95). При дискретизации каждой реализации мы будем получать, естественно, детерминированные координаты.
Если отказаться от требования некоррелированности координат, то случайный процесс можно разложить по любой полной системе ортогональных функций. Координатами реализаций будут обобщенные коэффициенты Фурье (см. § 1.3).
Поскольку выражение координат в рассматриваемом случае связано с операцией интегрирования, алгоритмы дискретизации отличаются высокой помехоустойчивостью. Известны примеры успешного использования для целей дискретизации функций Лежандра, Уолша, Хаара. Тем не менее в силу сложности технической реализации как получения координат, так и восстановления по ним сигнала, а также вследствие возникновения при этом задержки сигнала во времени методы получения координат на основе «взвешенного» интегрирования сигнала на практике используются лишь иногда при высоком уровне импульсных помех.
Более широкое распространение получили методы дискретизации, при которых сигнал u(t) заменяется совокупностью его мгновенных значений u(tj), взятых в определенные моменты времени tj(j=1,2, ..., Ν) и называемых выборками или отсчетами. Роль весовых функций (t) в соотношении (2.3) в этом случае выполняют дельта-функции Дирака. В соответствии с (1.11) устанавливаем, что координаты с1, c2, ..., cN представляют собой выборки u(tj)[ξj(t) = (t - tj)] или разности соседних выборок Δu(tj) = u(tj) — u(t — tj)[j(t) = (t - tj) - δ(t - tj-1)].
Поскольку дельта-функция технически нереализуема, длительность каждой выборки конечна. Отсчеты берут не в одной точке, а в некотором интервале времени, зависящем от длительности управляющего импульса ключевого устройства. Когда длительность импульса значительно меньше шага дискретизации, выборки представляют собой короткие импульсы, амплитуды которых пропорциональны мгновенным значениям сигнала.
Отрезок времени tj = tj — tj-1 между соседними выборками называют шагом дискретизации. Если он выдерживается постоянным во всем диапазоне преобразования, дискретизация считается равномерной. Методы равномерной дискретизации получили наиболее широкое применение. Они характеризуются простым алгоритмом, исключающим необходимость фиксировать время отсчетов, что существенно облегчает техническую реализацию. Правда, в этом случае несоответствие шага дискретизации характеру поведения конкретной реализации сигнала на отдельных участках часто приводит к значительной избыточности отсчетов.
Если отрезки времени между выборками меняются, например, в зависимости от скорости изменения сигнала или по заданной программе, дискретизацию называют неравномерной.
В ряде случаев наряду с выборками u(tj) в качестве координат сигнала используются также производные u(t) в те же моменты времени tj, вплоть до N-го порядка.
Учитывая теоретическую и практическую значимость методов дискретизации с использованием выборок в качестве координат сигнала, в процессе дальнейшего рассмотрения вопросов дискретизации ограничимся только ими.