8552

последовательностей символов кодирующих устройств (для слов – букв,

для букв – бит).

В качестве текста для обработки рекомендуется взять электронные издания, доступные в сети Internet. Например, на рис. 6.1 приведены результаты обработки поэмы А.В.Гоголя «Мертвые души». Для более точных результатов анализа рекомендуется конвертировать текст к одному регистру и избавится от всех знаков препинания, переносов и тп. Данную операцию удобнее всего проделать в MsWord, после чего сохранить файл в формате текста.

Рис.6.1. Внешний вид программы лабораторной работы и результаты расчета

Содержание отчета

Отчет по лабораторной работе должен содержать:

1.Информационные характеристики выбранного вами текста,

представленные последовательно для слов, букв, бит.

2.Результаты вашего расчета количества типичных комбинаций бит и букв.

3.Сравнение результатов и выводы по лабораторной работе.

Контрольные вопросы

1.Что называется типичными и нетипичными комбинациями источников дискретных сообщений.

2.Приведите примеры типичных и нетипичныхкомбинаций для русского языка, английского языка.

3.Как определяется общее количество сообщений дискретного

источника?

4.Как определяетсясоотношение между типичными и нетипичными комбинациями источников дискретных сообщений?

Лабораторная работа №7. Энтропия источника непрерывных

сообщений

Цель работы: освоить понятие источника непрерывных сообщений и изучить способы вычисления основных информационных характеристик таких источников.

Теоретические сведения

Непрерывный сигнал , принимает бесконечное множество возможных значений на интервале . Вероятность появления конкретного значения , бесконечно мала, вследствие бесконечного количества их возможных значений. Пусть – плотность вероятности сигнала на интервале .

Для получения значения энтропии сигнала разделим область изменения сигнала на интервалов с равномерным шагом (см.

рис. 7.1). Вероятность нахождения сигнала в интервале от до соответственно будет равна . В случае если рассмотреть дискретный источник, где в качестве сообщения будем рассматривать факт нахождения значения на интервале , то по (7.__) энтропия источника непрерывных сообщений будет равна

(7.1)

При переходе и так как , получим

. (7.2)

Таким образом, энтропия непрерывного источника сообщений равна бесконечности.Первую часть выражения можно рассматривать как дифференциальную энтропию непрерывного источника сообщений:

Задание для лабораторной работы

Задание 1. Вычислить значения дифференциальной энтропии для различных сигналов, суммы сигналов. Найти для каких сигналов дифференциальная энтропия будет иметь максимальное значение.

Порядок выполнения работы:

1.Запустить программу лабораторной работы TIPSlab7.exe.

Выбирая различные сигналы, их параметры, суммы сигналов изучить значения дифференциальной энтропии.

Найтидлякакихсигналовдифференциальнаяэнтропиябудетиметьмаксималь ноезначение.

Исследовать влияние шага расчета дифференциальной энтропии на получаемые значения.Внешний вид и пример результатов исследования показан на рис. 7.1.

Задание 2. Реализовать программу вычисления дифференциальной энтропии в MatLab.Сформировать массив, содержащий сигнал, выбранный вами в программе лабораторной работы.

Для построения сигнала с нормальным законом распределения рекомендуется сложить несколько процессов с равномерным законом распределения:

.

По полученному массиву построить гистограмму процесса и по (7.3)

рассчитать значение дифференциальной энтропии.

Рис. 7.1. Внешний вид программы и результаты исследования значений дифференциальной энтропии

Содержание отчета

Отчет по лабораторной работе должен содержать:

1.Виды сигналов и плотности распределения исследуемых в программе лабораторной работы сигналов и значения дифференциальной энтропии этих сигналов.

2.График и плотность распределения процесса, построенного в

MatLab.

3.Листинг сеанса MatLab.

4.Рассчитанное значение дифференциальной энтропии.

5.Выводы о том, какие свойства сигналов больше влияют на значение дифференциальной энтропии.

Контрольные вопросы

1.Что понимаю под источником непрерывных сообщений?

2.Информационные характеристики источника непрерывных сообщений.

Получатель сообщения примет последовательность . Вследствие ошибки в канале принятая последовательность может отличатся от переданной последовательности: . В этом случае выбирается комбинация наиболее близкая по расстоянию по Хеменгу из числа всех возможных комбинациях.

Например, при передаче рассмотренной выше последовательности возникли ошибки, результаты сравнения приведены в табл.7.1.

Табл. 7.1. Пример работы линейного кода (8,4)

При реализации декодера все возможные комбинации кода записываются в ПЗУ. Формируемые полиномы в кодере, так же обычно представляются в виде двоичной матрицы. Для рассмотренного примера эта матрица имеет значение:

.

Процесс кодирования в этом случае выглядит следующим образом:

.

К недостаткам линейных кодов можно отнести необходимость хранения больших массивов чисел.

Задание для лабораторной работы

1.Ззапустите программу TIPSlab7.exe.Сформируйте вектор передаваемых данных и выберите код, программа позволяет исследовать линейные коды вида (8,4), (12,4), (16,4).

2.Исследуйте работу декодера в случае отсутствия ошибок. Введите последовательно, одну, две и тд. ошибки в передаваемые данные. Сделайте выводы о возможностях выбранного кода по исправлению ошибок.

3.Повторите данное исследование для остальных линейных кодов.

Рассчитайте избыточность кода для всех рассмотренных линейных кодов.

Пример выполнения лабораторной программы приведен на рис. 7.1.

Рис. 7.1. Внешний вид выполнения лабораторной работы по линейным кодам

Содержание отчета

Отчет по лабораторной работе должен содержать:

1. Схему линейного кодирования.

2.Результаты исследования количества исправляемых и обнаружаемых ошибок для каждого их рассмотренных кодов.

3.Рассчитанные значения избыточности кода для всех рассмотренных во время выполнения лабораторной работы кодов.