Т огда получаем, что
Г
де
Н(Х) – энтропия входного алфавита.
Н(Y/X) – условная энтропия появления сигнала Y на выходе канала при условии, что на вход был подан сигнал с источника Х.
Проведя анализ последнего выражения можно сформулировать методику оценки количества информации на выходе канала связи.
Если количество передаваемой информации равняется H(x), а количество принятой информации равняется H(y), то условная энтропия H(x /y), есть то количество информации, которое надо добавить к полученному (H(y)), чтобы получить энтропию канала. Следовательно, H(X/Y) можно рассматривать как то количество информации, которое обусловлено воздействием помехи на сигналы.
Таким образом, чтобы найти количество информации, содержащееся в принятой совокупности элементов Y относительно переданных Х, необходимо из количества информации, передаваемой источником сообщений Н(Х), вычесть потерю информации, обусловленную помехой
(7)
Данное выражение определяет среднее количество информации на элемент, правильно передаваемый по каналу связи в условиях воздействия помехи.
Для удобства данная форма может быть приведена к следующему виду:
(8)
Кроме того, данное выражение приводится к следующему виду:
(9)
Для определения количества информации на выходе дискретного канала с помехами необходимо использовать матрицы вероятностей входных элементов Р(Х), выходных элементов Р(Y) и матрицу переходных вероятностей Р(Y/X) или обратных вероятностей.
I(YX)- это среднее количество информации на один элемент, содержащееся в выходной последовательности Y относительно входной последовательности X.
Поскольку
0 < H(X/Y) < H(X)
(безусловная энтропия никогда не превосходит безусловную), то
0 < I(XY) < I(X).
Крайнее значение слева имеет место, если символы на входе и выходе независимы (очень сильные помехи или имеет место обрыв канала), а крайнее значение справа – при отсутствии помех.
Скорость передачи информации и пропускная способность канала с помехами. Теоремы Шеннона.
Если на вход дискретного канала поступает в среднем Vм символов в единицу времени, то можно определить скорость передачи информации С по каналу с шумом:
(10)
VM - скорость манипуляции (Бод).
Для канала без помех скорость передачи информации совпадала с информационной производительностью источника сообщений
(11)
где H(x) – энтропия источника информации. Скорость передачи информации - среднее количество информации передаваемое в единицу времени.
Максимальная скорость манипуляции двоичных сигналов определяется шириной полосы пропускания канала связи и равна:
(12)
Пропускная способность канала связи – характеризует его потенциальные возможности по осуществлению быстрой передачи информации.
Под пропускной способностью Смах понимается максимально возможная скорость передачи информации, которая может быть достигнута в канале с заданными свойствами при заданном уровне помехи:
(13)
Величина Смах характеризует канал связи и определяется его свойствами:
полосой пропускания;
типом и интенсивностью помех.
Однако экстремум достигается в выражении (13) при работе от определнного источника и отыскивается подбором нужного априорного распределения Р(Х)
(14)
Рассмотрим пропускную способность каналов различных типов.
Двоичный канал без помех. В таком канале условная энтропия равна нулю, а максимум достигается при равновероятном появлении сигналов
(15)
Согласно формуле (15) в полосе частот 1 Гц за 1 с. в двоичном канале без помех передается не более двух бит информации.
М-ичный канал без помех. В данном канале условная энтропия также равна нулю, а пропускная способность определяется выражением (16)
(16)
Двоичный симметричный канала. Условием симметрии является
Найдем условную энтропию H(Y/X)
Можно сделать вывод, что в симметричном канале условная энтропия от априорного распределения Р(Х) не зависит. В самом деле
Максимум энтропии достигается при условии равновероятности сигналов
(17)
М-ичный симметричный канал. Для такого канала
Используя методику для вывода выражения (17) получаем
(18)
Двоичный канал со стиранием. Пропускная способность такого канала определяется следующим выражением
(19)
где P(Q) – вероятность стирания.
Для дискретных каналов с помехами были доказаны две теоремы Шеннона.
Теорема Шенона: если поток информации вырабатываемый источником достаточно близок к пропускной способности канала, то всегда можно найти такой способ кодирования, который обеспечивает передачу всех сообщений вырабатываемых источником, а вероятность ошибочного опознания любого из переданных сообщений будет сколь угодно малой.