16 Источник информации
Источник информации или сообщения - это физический объект, система или явление, формирующие передаваемое сообщение. Само сообщение - это значение или изменение некоторой физической величины, отражающие состояние объекта (системы или явления). Как правило, первичные сообщения - речь, музыка, изображения, измерения параметров окружающей среды и т.д. - представляют собой функции времени неэлектрической природы. С целью передачи по каналу связи эти сообщения преобразуются в электрический сигнал, изменения которого во времени л(t) отображает передаваемое сообщение. Значительная часть передаваемых сообщений, особенно в последнее время, по своей природе не явл сигналами - это массивы чисел, текстовые или иные файлы и тому подобное. Сообщения такого типа м/о представить в виде некоторых векторов Л.
17 Кодер источника. Подавляющая часть исходных сообщений - речь, музыка, изображения и т.д. - предназначена для непосредственного восприятия органами чувств человека и в общем случае плохо приспособлена для их эффективной передачи по каналам связи. Поэтому сообщения (л(t) или Л), как правило, подвергаются кодированию. В процедуру кодирования обычно включают и дискретизацию непрерывного сообщения л(t), т.е. его преобраз в послед-сть элементарных дискретных сообщений {лi}. Под кодированием в общ случае понимают преобраз алфавита сообщения A{лi}, (i=1,2…K) в алфавит нек-ым образом выбранных кодовых символов { xj }, (j = 1,2…N). Обычно (но не обязательно) размер алфавита кодовых символов dim {xj} меньше или намного меньше размера алфавита источника dimA{лi}. Кодирование сообщений может преследовать различ цели - сокращение объема передаваемых данных (сжатие данных), увеличение кол-ва передаваемой за ед времени инф, повышение достоверности передачи, обеспечение секретности при передаче и т.д. Под кодированием источника в РТС ПИ будем понимать сокращение объема (сжатие) инф с целью повышения скорости ее передачи или сокращения полосы частот, требуемых для передачи. Кодирование источника иногда наз сжатием данных. Если сжатие производится так, что по сжатым данным можно абсолютно точно восстановить исходную инф, кодирование наз неразрушающим. В канале связи всегда присутствуют помехи и абс точная передача в принципе невозможна. Таким образом, на выходе кодера источника по передаваемому сообщению л(t) или Л формируется последовательность кодовых символов X, называемая информационной последовательностью, допускающая абсолютно точное (или приближенное) восстановление исходного сообщения и имеющая, по возможности, как можно меньший размер.
18 Условная энтропия
Пусть
имеются две системы 
и 
,
в общем случае зависимые. Предположим,
что система 
приняла
состояние 
.
Обозначим 
условную
вероятность того, что система 
примет
состояние 
при
условии, что система
находится
в состоянии 
:
(18.4.1).
Определим теперь условную энтропию
системы 
при
условии, что система 
находится
в состоянии 
.
Обозначим ее 
.
По общему определению, имеем:
(18.4.2) или
(18.4.2') Формулу
(18.4.2) можно также записать в форме мат
ожидания:
,
(18.4.3), где знаком
обозначено условное мат ожидание
величины, стоящей в скобках, при условии 
.
Условная энтропия зависит от того, какое
состояние 
приняла
система 
;
для одних состояний она будет больше,
для других - меньше. Определим среднюю,
или полную, энтропию системы 
с
учетом того, что система может принимать
разные состояния. Для этого нужно каждую
условную энтропию (18.4.2) умножить на
вероятность соответствующего состояния 
и
все такие произведения сложить. Обозначим
полную условную энтропию 
:
(18.4.4) или, пользуясь
формулой (18.4.2),
.
Внося 
под
знак второй суммы, получим:
(18.4.5) или
.
(18.4.5') Но по теореме умножения вероятностей 
,
следовательно,
.
(18.4.6)
Выражению (18.4.6) тоже можно придать форму математического ожидания:
(18.4.7) Величина
характеризует степень неопределенности
системы 
,
остающуюся после того, как состояние
системы 
полностью
определилось. Будем называть ее полной
условной энтропией системы 
относительно 
.