- •120200 «Фотограмметрия и дистанционное зондирование»
- •Глава 1. Основы теории информации.
- •1.1. Информация. Общие понятия
- •Символ источника сообщений - это любое мгновенное состояние источника сообщений.
- •1.2.Измерение информации
- •1.3.Структурное (комбинаторное) определение количества информации (по Хартли).
- •1.4.Статистическое определение количества информации (по Шеннону).
- •1.5.Свойства функции энтропии источника дискретных сообщений.
- •1.6 Информационная емкость дискретного сообщения.
- •1.7. Информация в непрерывных сообщениях.
- •1.8. Энтропия непрерывных сообщений.
- •1.9. Экстремальные свойства энтропии непрерывных сообщений.
- •1.10. Информация в непрерывных сообщениях при наличии шумов.
- •Глава 2. Основы теории кодирования.
- •2.1. Кодирование. Основные понятия.
- •2.2. Избыточность кодов.
- •2.3. Эффективное кодирование равновероятных символов сообщений.
- •2.4. Эффективное кодирование неравновероятных символов сообщений
- •2.5. Алгоритмы эффективного кодирования неравновероятных взаимнонезависимых символов источников сообщений
- •2.6. Алгоритмы эффективного кодирования неравновероятных взаимозависимых символов сообщений
- •2.7. Недостатки алгоритмов эффективного кодирования.
- •2.8. Помехоустойчивое (корректирующее) кодирование. Общие понятия
- •2.9. Теоретические основы помехоустойчивого кодирования
- •2.10. Некоторые методы построения блочных корректирующих кодов
- •2.11. Кодирование как средство защиты информации от несанкционированного доступа.
- •Глава 3. Передача информации по каналам связи.
- •3.1. Канал связи. Общие понятия.
- •3.2. Передача дискретных сообщений по каналам связи.
- •3.3. Передача непрерывных сообщений по каналам связи.
- •3.4. Согласование каналов с сигналами.
- •Лабораторный практикум. Лабораторная работа №1. Информация в дискретных сообщениях.
- •П.1.А. Используя формулу Хартли, найти энтропию указанного источника дискретных сообщений (н1).
- •Лабораторная работа №2. Информация в непрерывных сообщениях.
- •Лабораторная работа № 3. Эффективное кодирование неравновероятных символов источника дискретных сообщений.
- •Некоторые полезные сведения из теории вероятностей.
- •Случайные события.
- •2. Алгебра событий
- •Случайные величины.
- •4.Статистические характеристики случайных величин.
- •5.Случайные функции.
- •Литература.
1.7. Информация в непрерывных сообщениях.
Под непрерывным сообщением подразумеваются сообщения, состоящие из символов бесконечного алфавита, т.е. символы такого сообщения представляют собой непрерывное множество из некоторого конечного интервала. Поэтому непрерывное сообщение можно рассматривать как некую непрерывную функцию.
Подходы, приведенные для оценки количества информации, содержащейся в дискретных сообщениях, непосредственно применить к непрерывным сообщениям не удаётся, так как это приводит к результату, противоречащему здравому смыслу.
Действительно, поскольку алфавит источника непрерывных сообщений (L) бесконечен и число символов в сообщении (n) также бесконечно, то и количество информации , содержащееся в непрерывном сообщении даже конечной длины, равно бесконечности, т.е.
Однако для реальных источников сообщений это противоречие устранимо, т.к. любые реальные источники сообщений обладают следующими особенностями.
Во-первых, реальные источники сообщений обладают инерционностью (т.е. для перехода их из одного состояния в другое требуется конечное время). Это выражается в ограниченности частотного спектра непрерывных сообщений, и, следовательно, к ним применима теорема Котельникова («теорема отсчетов»). Из этой теоремы следует, что любое непрерывное сообщение x(t) длительностью Т и верхней граничной частотой в спектре может быть представлено последовательностью равноотстоящих мгновенных значений этого сообщения взятых с интервалом Δt = 1/2 . При этом общее число равноотстоящих мгновенных значений не будет превышать значения N:
.
Во-вторых, в любых реальных системах всегда присутствуют помехи (шумы), вызванные различными причинами, вплоть до молекулярныи и квантовых. Эти шумы ограничивают число различимых символов сообщения. Действительно, для надежного распознавания соседних символов необходимо, чтобы разность между ними была больше, чем уровень помехи (шума).
При заданной средней мощности помехи (Рn) и мощности сообщения число различимых символов (L) непрерывного сообщения x(t) приближенно можно определить из соотношения:
.
Таким образом, любое реальное непрерывное сообщение длительностью Т и с частотным спектром, ограниченным частотой , может быть представлено дискретным сообщением из N символов с алфавитом объемом L. В соответствии с формулой определения количества информации по Хартли (1.5), можно получить формулу для оценки максимального количества информации в таком сообщении (Iн):
(бит) (1.13)
Можно так же подсчитать предельную информационную емкость реального непрерывного сообщения (R):
,
при условии, что 2TFm>>1.
Эта формула устанавливает предельную информационную емкость непрерывного сообщения. Из нее следует, что важнейшими характеристиками любого источника непрерывных сообщений (и канала передачи информации) являются ширина частотного спектра и отношение мощности сообщения (сигнала) к мощности помех.
Следует подчеркнуть, что приведенные выше соотношения справедливы только при условии взаимной независимости и равновероятности появления символов непрерывного сообщения т.к. их вывод основан на использовании формулы Хартли.