Федеральное агентство по образованию

технический университет

Кафедра автоматизированных информационных систем

Контрольная работа № 2

по дисциплине: «Теория информации»

Вариант 1

Выполнил: .

студент 4 курса, специальности АИС

Шифр

Проверил: .

Ухта 2009 г.

Содержание.

1.	Задания для контрольной работы…………………………………….	2
2.	Решение:
	Задание 1……………………………………………………………….	3
	Задание 2……………………………………………………………….	10
	Задание 3……………………………………………………………….	11
3.	Список использованной литературы…………………………………	12

Задания для контрольной работы. Тема: Определение информационных характеристик источников дискретных и непрерывных сообщений и каналов связи.

Вариант 1.

Задание 1.

Ответить на следующие вопросы:

1. В чем сущность понятия эргодического источника сообщений?

2. Назовите основные характеристики дискретного канала связи.

3. Что подразумевается под объемом сигнала и объемом канала?

Задание 2.

Написать формулы для расчета следующих величин:

1. Избыточность алфавита L источника дискретных сообщений.

2. Производительность источника дискретных сообщений, непрерывных сообщений.

3. Скорость передачи информации по дискретному каналу.

4. Пропускная способность дискретного и непрерывного каналов.

Задание 3.

Решить задачу:

1. Определить избыточность сообщений, образованных с помощью алфавита, состоящего всего из двух знаков z₁ и z₂ с вероятностями появления соответственно p(z₁)= 0.9 и p( z₂)=0.1.

Решение.

Задание 1.

Ответить на следующие вопросы:

1. В чем сущность понятия эргодического источника сообщений?

При выдаче источником сообщений в виде последовательности элементарных дискретных сообщений, полным вероятностным описанием является вероятность совместного появления набора различных символов u_i в момент t₁, t₂,...,t_n, где n - длина последовательности .

Располагая такими сведениями об источнике можно вычислить вероятность любого отрезка сообщения длиной меньше n. Если функция не меняется во времени, если она при любых , то источник называется стационарным. Если при определении вероятностных характеристик стационарного источника усреднение по ансамблю можно заменить усреднением по времени, то такой источник называется эргодическим.

2. Назовите основные характеристики дискретного канала связи.

Дискретный канал – канал связи, используемый для передачи дискретных сообщений.

Упрощенная схема передачи информации по дискретному каналу связи представлена на рисунке.

Рис. Схема дискретного канала передачи информации.

Источник дискретных сообщений (ИДС) использует для представления информации первичный алфавит {A}. Первичный кодер (ПК) кодирует знаки первичного алфавита n элементарными сигналами с алфавитом {a}. Действие помех в процессе передачи может состоять в том, что алфавит принимаемых сигналов будет отличаться от алфавита входных сигналов как их числом так и характеристиками – пусть это будет алфавит {b}, содержащий m элементарных сигналов. Несовпадение алфавитов сигналов приводит к тому, что на выходе канала появляются такие комбинации элементарных сигналов, которые не могут быть интерпретированы как коды знаков первичного алфавита. Другими словами, алфавит приемника вторичного сообщения (ПрмДС) {B} может не совпасть с алфавитом {A}. Для простоты буду считать, что декодер вторичных сигналов совмещен с приемником.

Вводя количественные характеристики процесса передачи информации, постараюсь выделить из них те, которые зависят только от свойств канала, и те, которые определяются особенностями источника дискретного сообщения.

    Дискретный канал считается заданным, если известны:

• время передачи одного элементарного сигнала ;

• исходный алфавит элементарных сигналов {a}, то есть все его знаки a_i (i = 1...n, где n – число знаков алфавита {a};

• n значений вероятностей появления элементарных сигналов на входе p(a_i); эти вероятности называются априорными (поскольку они определяются не свойствами канала, а источником сообщения, т.е. являются внешними по отношению к каналу и самому факту передачи сообщения);

• алфавит сигналов на выходе канала {b}, т.е. все знаки b_j (j = 1...m, где m – число знаков алфавита {b}; в общем случае nm;

• значения условных вероятностей , каждая из которых характеризует вероятность появления на выходе канала сигналаb_j при условии, что на вход был послан сигнал a_i; поскольку эти вероятности определяются свойствами самого канала передачи, они называются апостериорными; очевидно, количество таких вероятностей равно n·m:

    Очевидно также, что для каждой строки выполняется условие нормировки:

Все остальные характеристики дискретного канала могут быть определены через перечисленные параметры.

Дискретный канал называется однородным, если для любой пары i и j условная вероятность с течением времени не изменяется (т.е. влияние помех все время одинаково).

Дискретный канал называется каналом без памяти, если p(a_i) и не зависят от места знака в первичном сообщении (т.е. отсутствуют корреляции знаков).

Буду считать, что для передачи используются колебательные или волновые процессы – с практической точки зрения такие каналы представляют наибольший интерес (в частности, к ним относятся компьютерные линии связи).