14. Распределения с максимальной энтропией.

Среднеквадратичное значение сообщения ограничено (случай ограничения средней мощности сообщения).

Данное условие можно выразить математически:

(1-42) где σ² — дисперсия случайной величины.

Воспользуемся также вторым условием, вытекающим из свойств функции плотности вероятности: (1-43)

Данная задача является вариационной по отысканию вида функции р(х), обеспечивающей максимум энтропии Н(х). Решение задачи сводится к нахождению максимума функционала

F (х) = — р (х) log р (х) + λ₁(х) + λ ₂х²р (х). (1-44)

Найдем производную дF(x)/дp(x) и, приравняв ее нулю, получим, что lп р(х) = λ₁ — 1 + λ ₂х². Следовательно, (1-45)

Используя условия (1-42) и (1-43), получим соответственно

Теперь находим

Запишем окончательное выражение для функции плотности вероятности: (1-50)

Полученная функция характеризует нормальное центрированное распределение. Таким образом, если задана дисперсия сообщений, то сообщение будет максимально информативным, когда его значения распределены по нормальному закону .

15. Непрерывные и дискретные сообщения. Общность и различие.

Сигналы по своей структуре разделяются на непрерывные и дискретные.

Непрерывным называется сигнал, который принимает непрерывное множество значений на некотором отрезке времени и в диапазоне, ограничивающем его максимальную и минимальную величины.

Дискретным называется сигнал, принимающий конечное множество значений в определенном интервале времени и диапазоне величин, т. е. сигнал, являющийся дискретным как по времени, так и по уровню.

Сигнал, являющийся дискретным только по времени, или только по уровню, принято называть дискретно-непрерывным. На практике из этой группы сигналов преимущественное применение нашли сигналы, квантованные только по времени. В связи с этим в дальнейшем под дискретно-непрерывным сигналом мы будем подразумевать сигналы, дискретные по времени и непрерывные по уровню.

Примерами непрерывных сигналов являются: постоянный ток и напряжение, или гармонические колебания тока (напряжения). В первом случае информативным параметром сигнала может быть только величина тока или напряжения. Во втором случае информативным параметром может быть: амплитуда, частота или фаза колебаний.

Примером дискретно-непрерывных сигналов является последовательность прямоугольных импульсов тока или напряжения. Здесь в качестве информативного параметра может быть использована: амплитуда, длительность, частота следования и фаза импульсов (временной сдвиг импульсов в каждом периоде посылки относительно опорного момента времени).

Дискретные сигналы могут представляться в виде отдельных простейших элементов (посылок) или совокупности таких элемен-тов. Такими элементами могут быть: однополярные импульсы напряжения (тока); синусоидально изменяющееся напряжение (ток) определенной длительности; периодическая последовательность импульсов напряжения (тока) определенной длительности; пауза (отсутствие напряжения или тока).

Каждому элементу (посылке) свойственны свои качественные признаки (признаки посылок). Один или несколько из этих признаков могут быть использованы для передачи сообщений.

Для однополярных импульсов качественными признаками являются: величина, длительность и временное положение импульсов.

Для гармонической посылки качественными признаками будут: амплитуда, частота и фаза колебаний, длительность и временное положение посылки,

Для периодической последовательности импульсов качественными признаками являются: амплитуда, длительность, полярность, частота следования и фаза импульсов, длительность и временное положение посылки. Разновидностью такой посылки является периодическая последовательность импульсов высокочастотных колебаний (радиоимпульсов). Для этой посылки характерны те же качественные признаки за следующим исключением: вместо полярного признака будет фаза высокочастотных колебаний в импульсах и, кроме того появляется дополнительный признак — частота

высокочастотных колебаний

Дискретными называются сообщения, состоящие из отдельных элементов (символов, букв, импульсов), принимающих конечное число различных значений. Примерами дискретных сообщений являются команды в системах управления, выходная информация ЭВМ в виде кодовых групп или массивов чисел, телеграфные сообщения. Такие сообщения составляются из конечного числа элементов, следующих друг за другом в определенной последовательности. Набор элементов, из которых составляются сообщения, обычно называют алфавитом. 'Непрерывными называются такие сообщения, которые могут принимать в некоторых пределах любые значения и являются непрерывными функциями времени. Примерами таких сообщений являются телефонные сообщения, телеметрическая информация, функция распределения яркости в телевизионном изображении.

В реальных условиях указанные различия между непрерывными и дискретными сообщениями оказываются непринципиальными и путем дискретизации (во времени) и квантования (по уровню) можно непрерывное сообщение с допустимым приближением заменить дискретным.