Решение типовых примеров
Пример 3.3.1. Нормальный стационарный узкополосный случайный процесс, имеющий корреляционную функцию
,
пропускают через идеальный фильтр с полосой, заключённой в интервале частот от до . Найти отно-сительную энтропию в единицу времени для процесса на вы-ходе фильтра.
Решение. Односторонний спектр плотности мощности исходного процесса в соответствии с теоремой Винера-Хинчина равен преобразованию Фурье от корреляционной функции
Этот интеграл – табличный:
Поскольку процесс узкополосен, то справедливо соотноше-ние f >>a, поэтому в полученном выражении можно пренебречь вторым слагаемым и получим
Спектр плотности мощности процесса на выходе идеального полосового фильтра равен
Величину относительной энтропии на один отсчёт вычисляем по формуле (3.3.3)
Далее учитываем, что и, осуществив интегрирование, получим
В одну секунду берется отсчётов, поэтому относительная энтропия в единицу времени равна
Пример 3.3.2. Уровень воды в водоёме U(t) меняется со временем так, что он полностью определяется отсчётами, взятыми через полгода. Отдельные отсчёты независимы и имеют одностороннее экспоненциальное распределение с математическим ожиданием, равным 4 м. При учёте запаса воды допустимы только положительные ошибки v=u-z, причём среднее значение ошибки не должно превышать 0,25 м.
Найти ε-энтропию функции U(t).
Решение. Задача заключается в вычислении минимального среднего количества информации, которое необходимо пере-давать в год для воспроизведения функции U(t) при помощи другой функции с заданной точностью. За год уровень воды измеряется два раза, и эти отсчёты независимы, поэтому можно вычислить -энтропию одного отсчёта и, пользуясь свойством аддитивности -энтропии, удвоить полученный результат.
Средняя взаимная информация между U и Z равна
.
Относительная энтропия экспоненциально распределённой положительной случайной величины U равна (см. пример (3.2.1))
бит.
В условии задачи расстояние между X и Z задано в виде математического ожидания их разности, поэтому средняя условная энтропия H(U/Z) достигает максимального значения, когда V и Z независимы (см. неравенство (3.3.8)). Далее необходимо в классе распределений W(v) положительной случайной величины V, удовлетворяющих заданному в условии задачи ограничению
и условию нормировки
,
найти такое распределение, которое обладает наибольшей энтропией.
Как следует из примера 3.2.3, случайная величина V при этих ограничениях также должна иметь одностороннее экспоненциальное распределение
Тогда бит,
и -энтропия на один отсчёт равна
Для -энтропии случайной функции U(t) окончательно получим
ЗАДАЧИ
3.3.1. Радиосигнал подаётся на усилитель, имеющий коэффициент передачи K(f) = 1000. Насколько изменится энтропия на 1 отсчёт выходного сигнала по сравнению с входным.
3.3.2. Сигнал на выходе микрофона стационарен, имеет среднюю мощность Вт, а его энергетический спектр заключён в полосе частот 100 – 5000 Гц. Найти наибольшее возможное значение относительной энтропии такого сигнала:
а) на один отсчёт,
б) в 1 мин.
3.3.3. Вычислить «энтропийную мощность» сигнала U(t) из примера 3.3.2., полагая, что этот сигнал имеет ограниченный спектр.
3.3.4. Радиосигнал, спектр которого заключён в полосе частот 100 – 300 МГц, подаётся на усилитель промежуточной частоты, имеющий амплитудно-частотную характеристику колокольной формы
с центральной частотой МГц и полосой пропуска-ния МГц.
Вычислить, насколько изменится энтропия выходного сигнала по сравнению с входным.
3.3.5. Отсчёты сигнала U(t) из примера 3.3.2 подвергаются равномерному квантованию с шагом 2 м. Найти величину взаимной информации в единицу времени между исходным и квантованным сигналами.
3.3.6*. Вычислить - энтропию нормальной случайной вели-чины X, имеющей параметры и , если допустима среднеквадратическая ошибка представления этой величины равная 1. Найти условную плотность вероятности W(z/x) для воспроизводящей величины Z.
3.3.7. Вычислить - энтропию равномерно распределённой в интервале 0 – 2 случайной величины, если при воспроизведе-
нии допустима ошибка, не превышающая по модулю 0,01. Объяснить полученный результат и указать способ воспроиз-ведения с требуемой точностью.
3.3.8. Получить формулу относительной энтропии на один отсчёт для системы n нормальных случайных величин (отсчё-тов), имеющих корелляционную матрицу R.
3.3.9. Вероятности значений 0 и 1 двоичного символа X равны. Вычислить минимальное среднее количество инфор-мации, необходимое для того, чтобы полная вероятность ошибки при воспроизведении значений этого символа не пре-вышала 0,11.
3.3.10. При передаче значений символа X из задачи 3.3.9 на выходе линии связи имеется информация, равная в среднем 0,55 бит/символ. Укажите можно ли при наличии такого количества информации воспроизводить значения символа X так, чтобы полная вероятность ошибки не превышала 0,02?
3.3.11. Доказать неравенство 3.3.8.