Количество информации как мера снятой неопределенности

I(X,Y) = H(X) - H(X,Y) или I(X,Y) = H(Y) - H(Y,X)

X–  множество принимаемых сообщений;

Y–  множество передаваемых сообщений;

I(X,Y) –  среднее количество информации в одном сообщении (бит);

H(X) –  априорная энтропия;

H(X,Y) –  апостериорная энтропия.

;

.

Основание логарифма aможет быть любым, от него зависит только единица количества информации. Приa=2 информация выражается в двоичных единицах - битах.

Основные понятия теории информации

Избыточность источника, или сигнала (redudancy):

,

где I_max– максимальное количество информации, которое мог бы выдавать источник (или переносить сигнал);

I –  фактическое количество информации источника (сигнала).

Причины возможной избыточности:

• неравновероятность символов в коде;

• наличие статистической связи (коррелированность) между символами кода;

• неэкстремальность распределений (то есть отклонение от распределений, обладающих максимальной энтропией).

Скорость передачи(rate):

R= [H(X) – H(X,Y)]/t=I(X,Y)/t, [бит/с],

где t– такт (интервал времени) передачи одного сообщения (символа).

Скорость передачи информации определяется множеством условий, среди которых:

– энергия сигнала;

– число символов в алфавите;

– избыточность;

– полоса пропускания;

– способ кодирования-декодирования.

Пропускная способность канала связи(по Шеннону):

C =sup R_A, [бит/с],

где A– множество всевозможных способов кодирования сообщений; супремум (точная верхняя грань) берется по всем элементам множестваA. Таким образом, пропускная способность канала связи – это максимально возможная скорость передачи информации по данному каналу, достигаемая подбором оптимального способа кодирования. Этот оптимальный способ кодирования заранее не известен, его нужно находить исходя из свойств конкретного канала связи и это есть отдельная задача.

Примеры:

– зрительный и тактильный каналы человека ~50 бит/с;

– канал телевидения ~10⁷бит/с.

Основная задача при анализе и синтезе каналов связи – определение взаимосвязи физических характеристик каналов связи (в том числе и помех) с пропускной способностью. Наиболее просто эта задача решается для гауссова канала.

Канал называется гауссовым, если выполняются следующие допущения:

1. Сигналы и шумы непрерывны.

2. Канал занимает ограниченную полосу частот F_к.

3. Шум n(t) в канале распределен нормально (гауссов шум).

4. Спектр мощности шума равномерен в полосе частот канала и равен Nединиц мощности на единицу полосы частот.

5. Средняя мощность полезного сигнала x(t) фиксирована и равна P₀.

6. Сигнал и шум статистически независимы (некоррелированы).

7. Принимаемый сигнал y(t) есть сумма полезного сигнала и шума (шум аддитивен):y(t) =x(t) +n(t).

Для гауссова канала связь между физическими характеристиками и пропускной способностью задается формулой Шеннона–Таллера:

,

где C– пропускная способность канала [бит/с];

F– полоса пропускания канала [Гц];

P₀– средняя мощность полезного сигнала [Вт];

N– значение (равномерного) спектра мощности помехи в полосе пропускания канала [Вт/Гц];

–максимальный динамический диапазон входного сигнала.