- •1. Основные определения
- •2. Этапы обращения информации
- •3. Понятие сигнала и его модели
- •4.Формы представления детерминированных сигналов.
- •5. Представление сигнала в виде взвешенной суммы базисных функций. Понятие дискретного спектра сигнала и спектральной плотности
- •6. Ортогональное представление сигналов.
- •7.Временная форма представления сигнала
- •8.Частотная форма представления сигнала
- •9.Спектры периодических сигналов.
- •10.Распределение энергии в спектре.
- •11.Спектры непериодических сигналов.
- •12 Распределение энергии в спектре непериодического сигнала. Равенство Парсеваля
- •13.Соотношения между длительностью импульсов и шириной их спектра.
- •14,Спектральная плотность мощности детерминированного сигнала.
- •15.Функция автокорреляции детерминированного сигнала.
- •17.Вероятностные характеристики случайного процесса.
- •18. Стационарные и эргодические случайные процессы.
- •19.Спектральное представление случайных сигналов.
- •20.Частотное представление стационарных случайных сигналов.
- •21.Непрерывные спектры.
- •22. Основные свойства спектральной плотности.
- •23. Дискретизация непрерывных величин.
- •24. Модуляция
- •25. Амплитудная модуляция.
- •27. Частотная модуляция.
- •28. Модуляция по фазе.
- •29. Импульсный ток.
- •30. Кодоимпульсные сигналы.
- •31. Многократная модуляция.
- •32. Количество информации в дискретных сообщениях.
- •33. Свойство энтропии.
- •34. Условия энтропии и ее свойства.
- •35. Передача информации от дискретного источника.
- •37. Частная условная энтропия. Условная энтропия источника.
- •39. Энтропия квантовой величины
- •40. Количество информации в непрерывных сообщениях.
- •Связь между информационными и точностными характеристиками.
- •44.Тогда для равномерного распределения “u” и нормального распределения :
- •46.Код, кодирование, кодовые сигналы.
- •47.Системы счисления.
- •48.Числовые коды.
- •49.Коды не обнаруживающие возникающих искажений.
- •50.Коды обнаруживающие ошибки.
- •51.Информационная способность кода и избыточность.
- •Основная теорема Шеннона о кодировании для канала с помехами.
- •52.Коды с коррекцией искажений.
31. Многократная модуляция.
В технике широко используется многократная модуляция. Простейшее представление о ней дает диаграмма рис. 7., иллюстрирующая двукратную модуляцию. Здесь импульсный ток, промодулированный измеряемой величиной по одному из параметров - амплитуде, частоте, фазе или длительности импульсов, - модулирует, в свою очередь, по амплитуде несущий синусоидальный сигнал более высокой частоты.
Рис. 7. Диаграмма сигнала с двухкратной модуляцией.
Иногда сигнал, показанный на рис. 7 называют импульсным сигналом переменного тока, относя понятия частоты, длительности и фазы к отрезкам синусоиды, рассматриваемым в целом как отдельные импульсы.
32. Количество информации в дискретных сообщениях.
Источник информации может в каждый момент времени случайным образом принять одно из конечного множества возможных состояний. Такой источник называют дискретным источником информации. Каждому состоянию источника «u» ставится в соответствие условное обозначение: u1, u2, …, uN. В общем случае источник характеризуется ансамблем U, т.е. полной совокупностью состояний с вероятностями их появления, составляющими в сумме единицу
(1)
причем
или
Меру неопределенности выбора состояний источника можно рассматривать и как меру количества информации, получаемой при полном устранении неопределенности относительно состояний источника. Мера должна монотонно возрастать с увеличением возможностей выбора, т.е. числа возможных состояний N, причем недопустимые состояния (состояния с вероятностями ноль) не должны учитываться, т.к. они не меняют неопределенности. Кроме того, мера должна отвечать требованию аддитивности, состоящему в следующем.
Если два независимых источника с числом равновероятных состояний N и M рассматривать как один источник, одновременно реализующий пары состояний nimj, то естественно предположить, что неопределенность объединенного источника должна равняться сумме неопределенностей исходных источников. Поскольку общее число состояний объединенного источника равно NM, то искомая функция должна удовлетворять условию (2) - - выполняется, если в качестве меры неопределенности источника с равновероятными состояниями и характеризующего его ансамбля U принять логарифм числа состояний: (3)
Тогда при N=1 H(U)=0 и требование аддитивности выполняется.
(Если есть некоторое сложное сообщение эквивалентно нескольким простым, взятым вместе, то количество информации, содержащееся в сложном сообщении, должно быть равно сумме количеств информации, содержащихся в каждом из простых сообщений.)
Указанная мера (3) предложена американским ученым Р.Хартли в 1928 г. Основание логарифма не имеет принципиального значения и определяет только масштаб и единицу неопределенности. Удобнее выбирать основание равное двум, что соответствует элементам с двумя устойчивыми состояниями. При этом единица неопределенности называется двоичной единицей или битом, и представляет неопределенность выбора из двух равновероятных событий (bit – сокращение от англ. Binary digit - двоичная единица).
Степень неопределенности реализаций состояний объектов (источников информации) зависит не только от числа состояний, но и от вероятностей этих состояний.
При неравновероятных состояниях свобода выбора источника ограничивается, что приводит к уменьшению неопределенности. Если источник имеет два возможных состояния с вероятностями 0,99 и 0,01, то неопределенность выбора у него значительно меньше, чем у источника, имеющего два равновероятных состояния. Действительно, в первом случае результат практически предрешен, а во втором случае – неопределенность максимальна (при равно вероятных состояниях).
С учетом сказанного мера неопределенности выбора дискретным источником i-го состояния, вероятность которого Pi, из ансамбля состояний U равна
(4)
Это неопределенность, приходящаяся на одно конкретное состояние источника.
Практически интересна не эта величина, а среднее количество неопределенности приходящееся на выбор одного состояния. Меру неопределенности выбора дискретным источником состояния из ансамбля U называют энтропией дискретного источника, энтропией конечного ансамбля или энтропией объекта:
(5)
Здесь усреднение выполнено с учетом вероятности выбора каждого из состояний: количество неопределенности выбора i-го состояния умножено на весовой коэффициент Pi. Это неопределенность, приходящаяся в среднем на одно состояние.