- •Теория информации
- •Глава 1 математические модели сигналов
- •§ 1.1. Понятия сигнала и его модели
- •§ 1.2. Формы представления детерминированных сигналов
- •§ 1.3. Временная форма представления сигнала
- •§ 1.4. Частотная форма представления сигнала
- •§ 1.5. Соотношения между длительностью импульсов и шириной их спектров
- •§ 1.6. Спектральная плотность мощности детерминированного сигнала
- •§ 1.7. Функция автокорреляции детерминированного сигнала
- •§ 1.8. Случайный процесс как модель сигнала
- •§ 1.9. Стационарные и эргодические случайные процессы
- •§ 1.10. Спектральное представление случайных сигналов
- •§ 1.11. Частотное представление стационарных
- •Глава 2. Преобразование непрерывных сигналов в дискретные
- •§ 2.1. Преимущества цифровой формы представления сигналов
- •§ 2.2. Общая постановка задачи дискретизации
- •Воспроизводящая функция представляется аппроксимирующим полиномом
- •§ 2.3. Способы восстановления непрерывного сигнала
- •§ 2.4. Критерии качества восстановления
- •§ 2.5. Методы дискретизации посредством выборок
- •§ 2.6. Равномерная дискретизация. Теорема котельникова
- •§ 2.7. Теоретические и практические аспекты использования теоремы котельникова
- •§ 2.8. Дискретизация по критерию наибольшего отклонения
- •Оценка снизу для остаточного члена имеет вид
- •§ 2.9. Адаптивная дискретизация
- •Момент очередного отсчета определяется выполнением равенства
- •§ 2.10. Квантование сигналов
- •§ 2.11. Квантование сигналов при наличии помех
- •§ 2.12. Геометрическая форма представления сигналов
- •Контрольные вопросы
- •Глава 3. Количественная оценка информации
- •§ 3.1. Энтропия как мера неопределенности выбора
- •§ 3.2 Свойства энтропии
- •§ 3.3. Условная энтропия и ее свойства
- •§ 3.4. Энтропия непрерывного источника информации (дифференциальная энтропия)
- •§ 3.5. Свойства дифференциальной энтропии
- •§ 3.6. Количество информации как мера снятой неопределенности
- •§ 3.7. Эпсилон-энтропия случайной величины
- •Контрольные вопросы
- •Глава 4. Информационные характеристики источника сообщений и канала связи
- •§ 4.1. Основные понятия и определения
- •§ 4.2. Информационные характеристики источника дискретных сообщений
- •§ 4.3 Информационные характеристики дискретных каналов связи
- •§ 4.4. Информационные характеристики источника непрерывных сообщений
- •§ 4.5. Информационные характеристики непрерывных каналов связи
- •§ 4.6. Согласование физических характеристик сигнала и канала
- •§ 4.7. Согласование статистических свойств источника сообщений и канала связи
- •Глава 5. Кодирование информации при передаче по дискретному каналу без помех
- •§ 5.1. Кодирование как процесс выражения информации в цифровом виде
- •§ 5.2. Технические средства представления информации в цифровой форме
- •§ 5.3. Кодирование как средство криптографического закрытия информации
- •§ 5.4. Эффективное кодирование
- •§ 5.5. Технические средства кодирования
- •Глава 6. Кодирование информации при передаче
- •§ 6.1. Основная теорема шеннона о кодировании
- •§ 6.2. Разновидности помехоустойчивых кодов
- •§ 6.3. Блоковые коды
- •§ 6.4. Построение двоичного группового кода
- •§ 6.5. Технические средства кодирования и декодирования для групповых кодов
- •§ 6.6. Построение циклических кодов
- •§ 6.7. Выбор образующего многочлена по заданному объему кода и заданной корректирующей способности
- •§ 6.8 Технические средства кодирования и декодирования для циклических кодов
- •Остатки Векторы ошибок Опознаватели
- •Остатки Векторы ошибок Остатки
- •§ 6.9. Коды боуза — чоудхури — хоквингема
- •§ 6.10. Итеративные коды
- •Ч исло ошибок такого вида в4 для блока из lхn символов равно
- •§ 6.11 Сверточные коды
- •Контрольные вопросы
- •Заключение
- •Список литературы
- •Приложения
Глава 2. Преобразование непрерывных сигналов в дискретные
§ 2.1. Преимущества цифровой формы представления сигналов
В любую систему информация поступает в виде сигналов. Различные параметры физических процессов с помощью датчиков обычно преобразуются в электрические сигналы. Как правило, ими являются непрерывно изменяющиеся ток или напряжение, но возможно поступление и импульсных сигналов, как, например. в радиолокации. Печатный текст отображается буквами, цифрами и другими знаками.
Хотя поступающую информацию можно хранить, передавать и обрабатывать как в виде непрерывных, так и в виде дискретных сигналов, на современном этапе развития информационной техники предпочтение отдается дискретным сигналам, поэтому сигналы, как правило, преобразуются в дискретные. С этой целью каждый непрерывный сигнал подвергается операциям квантования по времени (дискретизации) и по уровню.
Под дискретизацией подразумевают, преобразование функции непрерывного времени в функцию дискретного времени, представляемую совокупностью величин, называемых координатами, по значениям которых исходная непрерывная функция может быть восстановлена с заданной точностью. Роль координат часто выполняют мгновенные значения функции, отсчитанные в определенные моменты времени.
Под квантованием подразумевают преобразование некоторой величины с непрерывной шкалой значений в величину, имеющую дискретную шкалу значений. Оно сводится к замене любого мгновенного значения одним из конечного множества разрешенных значений, называемых уровнями квантования.
Изменение вида сигнала u(t) (рис. 2.1, а) в результате проведения операции дискретизации показано на рис. 2.1,6, а в результате совместного проведения операций дискретизации и квантования — на рис. 2.1, в.
Число уровней квантования на рис. 2.1,в равно 8. Обычно их значительно больше. Передача такого множества различных по уровню импульсов даже на небольшие расстояния применяется крайне редко. Если провести нумерацию уровней, то их передача сведется к передаче чисел. Тогда, выразив эти числа в какой-либо системе счисления, можно обойтись меньшим множеством передаваемых сигналов. Как правило, дискретный сигнал преобразуется в последовательность чисел, выраженных в двоичном коде. Каждое дискретное значение сигнала представляется в этом случае последовательностью сигналов двух уровней. Наличие или отсутствие импульса на определенном месте интерпретируется единицей или нулем в соответствующем разряде двоичного числа.
Ц ифровая форма представления сигнала u(t) (рис. 2.1, а) показана на рис. 2.1, г. Для восьми уровней достаточно трех двоичных разрядов. Импульсы старших разрядов расположены крайними справа.
Причины перехода к дискретному и цифровому выражению информации заключаются в следующем.
Для конкретных задач управления или исследования интересующего нас объекта обычно требуется значительно меньше информации, чем ее поступает с датчиков в виде сигналов, изменяющихся во времени непрерывно. Учет априорных сведений об этих сигналах и целях их получения позволяет ограничиться отсчетами, взятыми через определенные моменты времени.
При неизбежных флуктуациях во времени интересующих нас параметров и конечной погрешности средств измерения информация о величине сигнала в каждый момент отсчета всегда ограничена, что и выражается в конечном числе уровней квантования. Кроме того, специфика решаемых в системе задач часто такова, что целесообразно ограничиться значительно меньшим числом уровней, чем следует из указанных выше ограничений.
Во многих случаях информация извлекается и передается с целью дальнейшей обработки средствами цифровой техники, в первую очередь ЭВМ и микропроцессорами. Рациональное выполнение операций дискретизации и квантования при этом приводит к значительному экономическому эффекту как за счет снижения затрат на хранение и обработку получаемой информации, так и вследствие сокращения времени обработки информации, что ведет к улучшению качества управления.
При передаче и обработке информации в цифровой технике существует принципиальная возможность снижения вероятности получения ошибочного результата до весьма малых значений. Она возникает потому, что при использовании дискретных сигналов, во-первых, применимы такие методы кодирования, которые обеспечивают обнаружение и исправление ошибок (они изложены в гл. 6), а во-вторых, можно избежать свойственного аналоговым сигналам эффекта накопления искажений в процессе их передачи и обработки, поскольку квантованный сигнал легко восстановить до первоначального уровня всякий раз, когда величина накопленных искажений приблизится к половине кванта. Практическая реализация указанных методов наиболее эффективна при минимальном числе уровней, равном двум.
Выражение информации в цифровой форме облегчает унификацию операций ее преобразования на всех этапах обращения. Массовость изготовления типовых узлов и блоков, простота их настройки, отсутствие необходимости регулировки в процессе эксплуатации позволяют, в свою очередь, улучшить такие важнейшие технико-экономические показатели средств цифровой техники, как стоимость изготовления и эксплуатации, а также надежность.
Низкая стоимость и высокая надежность больших интегральных схем, естественно, являются мощными стимулами дальнейшего расширения областей использования цифровых сигналов.
В данной главе мы ограничимся рассмотрением методов преобразования непрерывных сигналов в дискретные. Вопросы выражения дискретных сигналов в цифровой форме изложены в гл. 5.