Характеристики системы передачи информации Каналы передачи информации

Канал связи представляет собой совокупность технических средств для передачи сообщений из одной точки пространства в другую. С точ­ки зрения теории информации физическое устройство канала несуще­ственно. Источник сообщений(ИС) имеет выходной алфавит символовA={а_i},i=1..n - количество информации, приходящееся в среднем на один символ источника:

где p_i, - вероятность появления символаa_i, на выходе источника, символы источника считаются независимыми. Канал связи имеет алфавит символовB={b_j},j=1..m, среднее количество информации в одном символе канала

где q_j - вероятность появления символаb_i, в канале.

Техническими характеристиками канала связи являются:

• техническая производительность источника _A - среднее число символов, выдаваемых источником в единицу времени;

• техническая пропускная способность канала связи _B - среднее число символов, передаваемое по каналу в единицу времени.

Информационной характеристикой источника является инфор­мационная производительность. По определению, информационная производительность - это среднее количество информации, выдава­емое источником в единицу времени.

В канале без помех информационными характеристиками являются:

1 ) скорость передачи информации по каналу

2) пропускная способность канала

где {P} - множество всех возможных распределений вероятностей символов алфавитаВ канала. С учетом свойств энтропии

C_K=_B^.log₂m.

В канале с помехами в общем случае входной и выходной алфа­виты не совпадают. Пусть

B_ВХ=X={x₁,x₂,…,x_n};

B_ВЫХ=Y={y₁,y₂,…,y_m}.

Если отправленный на входе канал символ х_к опознан в приемнике какy_i иiK, то при передаче произошла ошибка. Свойства канала описываются матрицей переходных вероятностей (вероятность приема символау_i, при условии, что посланх_k):

|| P(yi|xk) ||, k=1..n, i=1..m.

Справедливо соотношение:

Среднее количество информации на один входной символ канала:

p_i=p(x_i).

Среднее количество информации на выходной символ канала:

Информация, которую несет выход канала о входе:

I(Y,X)=H(X)-H_Y(X)=H(Y)-H_X(Y).

Здесь Ну(Х) - условная энтропия входного символа канала при на­блюдении выходного символа (ненадежность канала),Н_х(Y) - услов­ная энтропия выходного символа канала при наблюдении входных символов (энтропия шума).

Скорость передачи информации по каналу с помехами:

dI(B)/dt=_BI(X,Y).

Пропускная способность канала с помехами:

где { р} - множество всех возможных распределений вероятностей входного алфавита символов канала.

Рассмотрим пример

Найти пропускную способность двоичного симметричного канала (канала с двухсимвольными входными и выходными алфавитами) и одинаковыми вероятностями ошибок (рис.1), если априорные вероят­ности появления входных символов:P(x₁)=P₁=P, P(x₂)=P₂=1-P.

Решение. В соответствии с моделью канала условные веро­ятности

P(y₁ | x₂) = P(y₂ | x₁) = P_i,

P(y₁ | x₁) = P(y₂ | x₂) = 1-P_i.

Пропускная способность канала - C_K=_B^.max{H(Y)-H(X|Y)}. Найдем энтропию шума:

По теореме умножения: P(y_jx_i)=P(x_i)P(y_j|x_i), следовательно,

P(x₁y₁)=P(1-P_i), P(x₂y₁)=(1-P)P_i,P(x₁y₂)=PP_i,P(x₂y₂)=(1-P)(1-P_i).

Подставляя в формулу, получаем:

Таким образом, H( Y|X ) не зависит от распределения входного алфавита, следовательно:

Определим энтропию выхода:

Вероятности P(y₁) иP(y₂) получаем следующим образом:

P(y₁)=P(y₁x₁)+P(y₁x₂)=P(1-P_i)+(1-P_i)P_i, P(y2)=P(y₂x₁)+P(y₂x₂)=PP_i+(1-P)(1-P_i).

Варьируя Р, убеждаемся, что максимальное значение H(Y), равное 1, получается при равновероятных входных символахP(y₁) иP(y₂). Следовательно,

Задача. Найти пропускную способность канала с трехсимвольными входными и выходными алфавитами (x₁,x₂,x₃ иy₁,y₂,y₃соответсвенно). Интенсивность появления символов на входе канала_k=V^.10 символов/с.

Вероятности появления символов:

, , .

Вероятности передачи символов через канал связи:

,,,

,,,

,,.

4. КОДИРОВАНИЕ ИНФОРМАЦИИ

4.1. Общие сведения Кодом называется:

- правило, описывающее отображение одного набора знаков в другой набор знаков или в набор слов без знаков;

- множество образов, получающихся при таком отображении.

В технических кодах буквы, цифры и другие знаки почти всегда кодируются двоичными последовательностями, называемыми двоичными кодовыми словами. У многих кодов слова имеют оди­наковую длину (равномерные коды).

Выбор кодов для кодирования конкретных типов сообщений определяется многими факторами:

- удобством получения исходных сообщений из источника;

- быстротой передачи сообщений через канал связи;

- объёмом памяти, необходимым дня хранения сообщений;

- удобством обработки данных;

- удобством декодирования сообщений приемником.

Закодированные сообщения передаются по каналам связи, хра­нятся в ЗУ, обрабатываются процессором. Объемы кодируемых данных велики, и поэтому во многих случаях важно обеспечить таксе кодирование данны:'., которое характеризуется минимальной длиной получающихся сообщений, Это проблема сжатия данных. Существуют два подхода сжатия данных:

- сжатие, основанное на анализе статистических свойств коди­руемых сообщений.

Сжатие на основе статистических свойств данных называется так же теорией экономного или эффективного кодирования. Эко­номное кодирование основано на использовании кодов с перемен­ной длиной кодового слова, например, код Шеннона-Фано, код Хафмана /31. Идея использования кодов переменной длины для сжа­тия данных состоит в том, чтобы сообщения с большей вероят­ностью появления ставить в соответствие кодовые комбинации мень­шей длины и, наоборот, сообщения с малой вероятностью появле­ния кодировать словами большей длины. Средняя длина кодового слова определяется с.о.:

где /, - длина кодового слова для кодирования i - го сообщения; p_t - вероятность появления i - го сообщения.

4.2. Задания

4.2.1. Из табл.4 выбрать дня последующего кодирования ис­ходный алфавит, содержащий 10 символов, начиная с N-ro (N -порядковый номер студента в журнале группы). Пронормировать вероятности символов.

4.2.2. Пронормировать выбранный в п.4.2.1. исходный алфавит равномерным двоичным кодом, кодом Шеннона-Фано, кодом Хафмана. Для каждого варианта кодирования рассчитать мини­мальное, максимальное, среднее значение длины кодового слова. Проанализировать результаты.

4.2.3. Проделать задание 4.2.2. для троичного кода.

Таблица 4

N	сим­вол	Р	N	сим­вол	Р	N	сим­вол	Р	N	сим­вол	Р
1	А	0,062	10	К	0,028	19	у	0,021	28	Э	0,003
2	Б	0,014	11	Л	0,035	20	ф	0,002	29	Ю	0.018
3	В	0,038	12	м	0,026	21	X	0,009	30	Ъ	0,009
4	Г	0,013	13	н	0,053	22	Ц	0,004	31
5	д	0,025	14	о	0,090	23	ч	0,012
6	Е	0,072	15	п	0,023	24	ш	0,006
7	Ж	0,007	16	Р	0,040	25	Щ	0,003
8	3	0,016	17	с	0,053	26	ь	(M¥L
9	И	0,062	18	т	0,053	27	ъ	одй1

4.3. Указания к выполнению отдельных заданий К заданию 4.2.1. Нормирование вероятностей производится по формуле:

/W-HO / *Рк ' JC=AT

где Pi - вероятности появления символов, приведенные в табл.4.

К заданию 4.2.2. Правила построения двоичных кодов изло­жены в /4,6/.

К заданию 4.2.3. При построении троичного кода в качестве кодовых слов берутся слова, записанные в троичной системе счис­ления. Оптимальный троичный код строится с помощью процедуры Хафмана (с помощью процедуры Шеннона-Фано строится субоп-тимальный код). При этом разбиение алфавита ведется на три груп­пы, первой группе приписывается "О", второй - "1", третьей - "2".

ПРИЛОЖЕНИЕ 1