В этом случае скорость передачи информации составит

I(X) = V_x H(X), (11)

Где V_x – скорость передачи элементарных символов сигнала.

В этом случае, пропускная способность канала без помех равна

(12)

Полагая V_x заданой, получим, что максимальная скорость передачи информации будет обеспечена максимальной энтропией источника сообщения

(13)

т.е. при равномерном распределении вероятностей и статистической независимости символов алфавита сигналов.

Если известна ширина F_k, то пропускная способность канала

С = max{I(x)}=2F_klog₂N, (14)

где N - объем алфавита.

Чтобы определить в какой степени скорость передачи информации может быть приближена к пропускной способности канала воспользуемся теореммой Шеннона для дискретного канала без помех.

Для канала без помех доказана прямая теорема Шеннона, которая гласит, что если поток информации вырабатываемый источником достаточно близок к пропускной способности канала,

т.е. I(x) = C - , (14)

где  - сколь угодно малая величина, то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений, вырабатываемых источником. Причем скорость передачи информации будет весьма близка к пропускной способности канала.

Иными словами, для дискретных каналов без помех необходимо убирать избыточность сообщений.

Обратная теорема Шеннона.

Невозможно обеспечить длительную передачу всех сообщений, если поток информации, вырабатываемый источником превышает пропускную способность канала,т.е.

I(X) > C.

Таким образом, теоремы Шеннона для канала передачи информации утверждает, что при выполнении условия (14) скорость передачи информации может быть в принципе сколько угодно приближена к пропускной способности канала. Это может быть обеспечено соответствующим кодированием сигналов.

Вопрос 2 Дискретный канал с помехами. Скорость передачи информации и пропускная способность при наличии помех Дискретный канал с помехами. Бинарные каналы с помехами.

П ри наличии помех в канале нарушается однозначность между входным и выходным алфавитами. Одному сигналу на входе может соответствовать различные выходные сигналы.

Вход Выход

Рис.1. Информационная модель дискретного канала с помехами.

Вследствии случайного характера воздействия помехи нельзя априорно точно установить, какой сигнал мы получим на приемной стороне при посылке определенного сигнала, поэтому вероятностный характер такого преобразования и описан с помощью вероятностных характеристик. Для оценки канала с помехами используется матрица переходных вероятностей.

Р =	Р11	...	Р1n
	Р21	...	Р2n
	...	...	...
	Рn1	...	Рnn

Где Р_ij есть условная вероятность преобразования i-го входного сигнала в j-тый выходной сигнал. Согласно теории вероятности:

Дискретный канал по которому передается только два элементарных сигнала называется бинарным и в этом случае матрица переходных вероятностей примет следующий вид:

Р =	P11	P12
	P21	P22

Если все вероятности правильной передачи сигнала равны Р₁₁=Р₂₂ , соответственно все вероятности искажений тоже равны, то данный сигнал называется симметричным. Матрицу принято записывать следующим образом:

Р =	P	q
	Q	p

где р вероятность правильного приема, q - вероятность искажения.

Канал связи можно представить как систему с двумя алфавитами: алфавит Х_i на входе канала и алфавит Y_j на выходе канала. Передача сообщений в этой системе представляет собой событие (X_iY_j), в этом случае энтропия канала представляется как система со сложным сообщением.

П ри условии, что объемы входного и выходного афавитов совпадают и равны М.

Используя преобразования Байеса, можно представить