Методические указания

Из рассмотрения сущности условной энтропии можно сделать вывод о том, что она может быть использована для статистической оценки воздействия помех при передаче сообщений.

Взаимосвязь между количеством информации и энтропией передаваемого сообщения при наличии помех.

Пусть до приема информации известны только вероятности p(x j ) символов

(уровней сигналов и т.п.) передаваемого сообщения.

Неопределенность сообщения до его приема можно характеризовать энтропией:

H(X ) =− n p(x )log p(x ) ,

∑ j j j=1

При отсутствии помех будет иметь место полное соответствие между принятым и переданным сообщением, вследствие чего неопределенность H(X ) после приема сообщения будет полностью снята, т.е. величина H (X ) станет равной нулю. При этом будет получено количество информации I(Y, X ) равное энтропии H (X ).

Из сказанного следует, что количество информации, полученное в процессе передачи сообщения, будет равно разности энтропий до и после приема сообще-

ния, т.е.

I(Y, X ) = H(X ) −0.

При наличии же помех степень неопределенности на приемном конце, т.е. эн-

тропия, не будет уменьшена до нуля, так как в этом случае

I(Y, X ) ≠ H(X ).

Наличие помех, характеризуемое величиной H(X /Y) приведет к ограничению

количества информации, необходимого для полного снятия неопределенности

при приеме сообщения, т.е.:

I(Y, X ) = H(X ) −H(X /Y).

Из изложенного следует, что энтропия представляет собою меру неопределенности, а количество информации — меру снятия неопределенности при приеме сообщения.

Совместная энтропия статистически зависимых источников сообщений.

Пусть имеются два коррелированных источника X и Y , каждому из которых, соответственно, принадлежат множества сигналов

и

34

Если число возможных парных совмещений сигналов составит n m, то энтропия совокупности возможных совмещений сигналов может быть представлена в виде:

то есть совместная энтропия сигналов двух различных статистически зависимых источников X и Y равна сумме безусловной энтропии H (X ) и условной энтропии H(Y / X ) .

На основании полученного равенства (2.16) можно еще раз пояснить смысл условной энтропии как величины, представляющей собой ту добавочную энтропию, которую дают сигналы y j Y при условии, что энтропия сигналов

xi X уже известна.

Особенности совместной энтропии двух статистически зависимых источников. а). Совместная энтропия двух статистически зависимых источников сообщений обладает свойством “зеркального” или взаимного отображения, состоящего в

выполнении равенства:

H(X ,Y) = H(Y, X ),

35

справедливость которого можно подтвердить, если в равенстве (2.12) поменять местами xi и y j приняв

p(y j , xi ) = p(y j ) p(xi / y j ).

Из равенств (2.16) и (2.17) следует:

H(X ,Y) = H(Y, X ) = H(X ) +H(Y / X ) = H(Y) +H(X /Y)

(2.18)

б). Если источники X и Y статистически независимы, то совместная энтропия

этих источников равна сумме энтропий источников X и Y.

Ранее было показано, что условная энтропия в этом случае равна:

H(Y / X ) = H(Y) ,

вследствие чего

H(X ,Y) = H(X ) +H(Y).

в). При наличии “жесткой” статистической связи между источниками X и Y совместная энтропия равна безусловной энтропии одного из двух источников сообщений.

Как было показано для рассматриваемого случая

H(Y / X ) =0,

вследствие чего:

H(X ,Y) = H(X ).

На основании свойства взаимного отображения источников сообщений можно

записать:

H(X ,Y) = H(X ) = H(Y, X ) = H(Y) .

Таким образом, рассмотренные выше основные свойства энтропии позволяют получить представление о возможности ее использования для математического описания различных случайных вероятностных моделей.

Дифференциальная энтропия одномерного распределения вероятностей есть мера относительной неопределенности (т.е. энтропии) распределения вероятностей непрерывной случайной величины. Ее выражение имеет вид:

∞

h(X ) =−log f (X ) =− ∫ f (x)log f (x)dx , (2.19)

−∞

36

где f (x) — плотность распределения вероятностей случайной величины.

Энтропия законов распределения.

В [1] представлены сведения о наиболее распространенных законах распределения вероятности случайных величин. При этом выделены энтропия непрерывных законов распределения (А) и энтропия дискретных законов распределения

(Б).

37

3. Представление информации.

Исходные положения

Представление информации – это отображение входных или выходных сообщений любого из блоков или устройств ИВС в форме наиболее удобной для дальнейшего использования в отношении точности, быстродействия и достоверности.

Общность вопросов представления информации по отношению к любым блокам ИВС и связанным с ними информационными процессами, определяет местоположение данного раздела.

3.1. Физические характеристики сигналов и каналов.

Идеализированная модель сигнала (рис.3.1) может быть представлена соотношением следующих параметров:

где m — уровни сигнала, отсчеты (символы сообщения); n — элементы сигнала (сообщения).

Допущения, принимаемые для идеализированной модели:

1). {S, t}=const ;

2). Помехи отсутствуют, т.е. мгновенное значение помехи h =0 , а следовательно, и средняя мощность Ph =0.

3). Инструментальные ошибки отсутствуют.

4). Максимальная (допустимая) скорость изменения сигнала определяется со-

отношением S max = St .

40

5). Непрерывный квантованный сигнал S(t) рассматривается как кодированный унитарным кодом с основанием q , равным разрешающей способности сиг-

нала ms , т.е. {S ≈Sкв}→ f (Nq=ms ).

6). Кусочно-ступенчатая аппроксимация порождает методическую погрешность

δs иδt .

7). Уровни сигнала равновероятны:

p(S j ) = 1 , j =0,1, 2, ..., ms . ms

Обобщенные характеристики сигнала (канала). Разнородные физические характеристики сигнала, такие как: S =Smax −Smin;ms; S;δs;nt ; t;δt ;Ps;Ph и др. с целью более компактного их выражения могут быть представлены в виде трех обобщающих характеристик: динамической составляющей сигнала Ds ,

времени действия сигнала Ts и спектра сигнала Fs . Например:

Произведение вышеуказанных параметров может быть использовано для выражения объема сигнала Vs = Ds Ts Fs . Аналогичным образом может быть

представлена емкость канала Vk = Dk Tk Fk , где Fk — полоса пропускания канала.

Условия согласования сигнала и канала могут быть сформулированы в виде:

41

Этим условиям соответствует графическая интерпретация на рис.3.3

Оценка эффективности согласования сигнала и канала может быть выполнена посредством соотношений:

где η (V );ϕ (V ) — коэффициенты, соответственно, эффективности и избыточности использования сигнала и канала.

Видеальном случае: η (V )=1;ϕ (V )=0.

Вобщем случае:

В реальных условиях параметры квантования по уровню и по времени могут быть переменными. При этом, в соответствии с рис.3.2, в результате квантования непрерывных сигналов, возникают ошибки квантования δ Sкв, называемые

иногда “шумами квантования”.

3.2. Физические и математические параметры аналоговой и цифровой форм представления

информации.

Из изложенного ранее следует, что в ИВС (ИВК, ГИВУ) может использоваться как аналоговая, так и цифровая форма представления информации. Каждая из этих форм характеризуется математическими и физическими параметрами. Как следует из рис.3.4 математическими параметрами цифровой формы представления информации, в зависимости от выбранной системы счисления, могут быть двоичный код (N2 ), двоично-десятичный (N2-10 ), восьмеричный (N8) и др.,

т.е.

Np (N2,N2−10,N8,K),

где p =2; 2 −10; 8;K — основание выбранной системы счисления.

42

Математическим параметром аналоговой формы представления информации является унитарный код (N1). Это следует из рассмотрения аналогового сигна-

ла как квантованного с разрешающей способностью

Из изложенного в [1] следует, что аналоговый сигнал в этом случае является кодированным с относительно высоким основанием, равным его разрешающей способности, которая соответствует основанию унитарного кода. В этом случае

S p N p=ms .

В соответствии с изложенным, более строго будет говорить не о кодировании аналоговых сигналов, а об их перекодировании.

Что касается физических параметров, то любой из них, то есть одни и те же, могут быть использованы как в аналоговой, так и в цифровой форме представления информации.

Различие их использования состоит в том, что при аналоговой форме представления информации параметры аналоговой величины изменяются пропорционально изменению математической величины, в соответствии с масштабным соотношением

ma = xmax −xmin . Smax −Smin

При цифровой форме представления информации имеет место ступенчатое (“да” — “нет”) изменение параметров физических величин, соответствующих признакам кодовых разрядов. Взаимосвязь между математической величиной x и пропорциональным значением кода N в этом случае определяется масштабным соотношением

вый и цифровой принципы моделирования.

При аналоговом принципе моделирования непрерывному изменению моделируемой математической величины x соответствует пропорциональное изменение параметра моделирующей физической величины S .

43