4.1 Решение задачи №1

В данной задачи необходимо найти энтропию источника. Поэтому дадим определение энтропии. Энтропия – количество информации, приходящиеся на один элемент сообщения. Энтропия определяется формулой:

4.1.1

Найдём энтропию, подставив данные в таблице 3.1 в формулу 4.1.1:

бита.

Найдём условную энтропию ( потери информации) источника.

Воспользуемся теоремой умножение вероятностей:

4.1.2

Найдём вероятности p(b_i) по следующей формуле:

4.1.3

p(b₁)=0.25 , p(b₂)=0.25, p(b₃)=0.25, p(b₄)=0.25.

Найдём энтропию источника В по формуле 4.1.1:

 бита.

4.2 Решение задачи №2

Найдём энтропийную мощность, которая определяется как мощность нормального шума, равномерно распределенного в полосе частот (белого шума), который, имея ту же длительность и ширину спектра, что и реальная помеха, обладает той же энтропией, то есть, если H(x) – энтропия помехи, то её энтропийная мощность P_энт определяется так:

4.2.1

Найдём энтропию H(x). Для этого воспользуемся формулой для нахождения энтропии распределения Коши.

4.2.2

Зная энтропию H(x), подставим её в формулу 4.2.1.

4.3 Решение задачи №3

Если источник вырабатывает сообщения, состоящие из фиксированного набора символов х с вероятностями р(х_i), то при оптимальном кодировании они заменяются символами кода z или комбинациями символов кода так, чтобы количество информации на один символ кода было максимальным. Для случая, когда отсутствует статистическая связь между символами сообщения Шеннона и Фано разработана методика построения кода, близкого к оптимальному и дающего оптимальный результат в том случае, когда вероятности р(х_i) выражаются отрицательными степенями двойки. В оптимальном коде, называемым Шеннона-Фано, используется символы 0 или 1, то есть оптимальный код является двоичным. Построим этот код. Для этого воспользуемся следующим алгоритмом.

1. Символы исходного сообщения (буквы) располагаются в порядке убывания их вероятностей и разбиваются на две группы так, чтобы суммы вероятностей в группах были примерно одинаковы.

2. В качестве первого символа кода всем буквам, вошедшим в первую группу, приписывается единица, а буквам второй группы – нуль.

3. Каждая из полученных подгрупп вновь разбивается на две подгруппы примерно с одинаковыми вероятностями.

4. Буквам первых подгрупп в качестве следующего символа кода приписывается единица, а к буквам второй группы – нуль и так далее.

Разбиение на подгруппы производиться до тех пор, пока в каждой подгруппе не останется по одной букве.

Интерпретация решения приведена в таблице 4.3.1.

Таблица 4.3.1

Буквы	Вероятности	Подгруппы	Кодированные комбинации
x1	0.125	0 0 1 0 0	111
x2	0.125		110
x3	0.125		101
x4	0.125		100
x5	0.125		011
x6	0.125		010
x7	0.125		001
x8	0.125		000

Оцени эффективность метода Шеннона-Фано, определив энтропию полученного кода. Для этого определим вероятность появления символа кода:

4.3.1

p(1)=0.5,

p(0)=0.5.

Тогда энтропия H= – 0.5log₂0.5– 0.5log₂0.5=1 бит.

Полученный результат свидетельствует о том, что вероятности появления символа кода одинаковы и энтропия кода максимальна.

Определим избыточность кода D_отн.