85

3 Информационные характеристики аналоговых сигналов

3.1 Взаимная информация

Определение непрерывного канала. Непрерывным (аналоговым) называется канал, в котором сигналы на входе x(t) и выходе y(t) являются реализациями непрерывных случайных функций.

В дальнейшем в качестве входного и выходного сигналов будут рассматриваться только такие функции, спектр которых заключен в ограниченной полосе частот от 0 до F_B. Такие функции полностью определяются последовательностью отсчетов, взятых с шагом .

Для полного описания канала в фиксированный момент времени t₁ достаточно задать совместную плотность вероятностей W(x, у) системы двух отсчетов, т.е. непрерывных случайных величин X=X(t₁) и Y=Y(t₁). Часто для расчетов более удобными являются следующие характеристики:

W(x) – одномерная плотность вероятности сообщения,

W(y) – одномерная плотность вероятности сигнала,

W(x/y) – условная плотность вероятности сообщения х при известном у,

W(y/x) – условная плотность вероятности сигнала у при заданном х.

Соотношения, связывающие эти плотности вероятности, см. в разд. 1, формулы (1.3) – (1.5).

Обобщим понятие взаимной информации на непрерывные сигналы.

Взаимная информация. По аналогии с дискретным случаем взаимной информацией называют величину

(3.1.1)

Свойства взаимной информации I(х;у) для непрерывных случайных величин х и у аналогичны свойствам взаимной информации I(x_j;y_k) для дискретных случайных величин, за исключением свойства 2, связанного с понятием собственной информации, неприменимым к непрерывной случайной величине (см. далее в разд. 3.2).

Средняя взаимная информация. Рассмотрим среднее значение взаимной информации для объединенного ансамбля XY. Здесь возможны следующие случаи. Средняя информация, содержащаяся в реализации у принятого сигнала относительно ансамбля передаваемых сообщений X, есть

(3.1.2)

Иначе, это – средняя взаимная информация между ансамблем X и реализацией у.

Средняя информация, содержащаяся в реализации передаваемого сообщения x относительно ансамбля Y, равна

(3.1.3)

Это – средняя взаимная информация между ансамблем Y и реализацией х.

Средняя информация о непрерывной случайной величине X, заключенная в непрерывной случайной величине Y,

(3.1.4)

есть средняя взаимная информация между ансамблями X и Y.

Средняя взаимная информация неотрицательна, обладает свойством симметрии и связана с относительными энтропиями (см. разд. 3.2) непрерывных случайных величин X и Y следующим образом:

(3.1.5)

Решение типовых примеров

Пример 3.1.1. Вольтметром измеряется напряжение в электрической сети. Ошибка измерения не зависит от истинного значения напряжения и распределена нормально с нулевым математическим ожиданием и среднеквадратическим отклонением, равным 2 В. Истинное значение напряжения в сети также имеет нормальное распределение с математическим ожиданием 220 В и СКО, равным 10 В.

Найти:

а) зависимость величины получаемой информации от показаний прибора,

б) среднюю величину получаемой информации.

Решение. Введем обозначения:

X – напряжение в сети,

V – ошибка измерения,

Y = X + V – показание прибора.

Из условия задачи записываем плотности вероятностей:

Безусловную плотность вероятности величины Y можно найти по общей формуле (1.3), но проще поступить следующим образом. Показание прибора Y есть сумма двух независимых нормальных случайных величин и, следовательно, Y также имеет нормальное распределение с математическим ожиданием

и дисперсией

.

Итак,

Условную плотность вероятности х находим по формуле (1.4)

В выражении, стоящем под знаком экспоненты, осуществляем возведение в квадрат и затем группируем члены, содержащие х² и х. В итоге убеждаемся, что условное распределение величины х также нормально

где – условное математическое

ожидание X,

- условная дисперсия X.

Для ответа на вопрос п. а) следует по формуле (3.1.2) вычислить величину средней взаимной информации между ансамблем X и реализацией у

Находим квадраты разностей и выносим за знак математического ожидания слагаемые и множители, не зависящие от х. Далее учитываем, что вычисляются условные математические ожидания при конкретном значении у, поэтому

В итоге получаем

Таким образом, искомая зависимость есть параболическая функция разности , причем наименьшее количество информации, равное 1,1482 нат, доставляет наиболее вероятное показание прибора .

Для ответа на вопрос п. б) необходимо найти среднюю величину взаимной информации между ансамблями X и Y. Вычисляем безусловное математическое ожидание величины I(Х; у). При этом учитываем, что , и получаем

Обратите внимание, что в среднем количество получаемой информации в данном примере зависит только от отношения «сигнал/ошибка»

Пример 3.1.2. Для контроля исправности блока периодически измеряют значение напряжения в контрольной точке схемы. Если блок исправен, то это напряжение равно 1 В, в противном случае – 0 В. Ошибка вольтметра распределена равномерно с нулевым математическим ожиданием, но ширина этого распределения зависит от величины измеряемого напряжения: она равна 2 В, если напряжение на входе 1 В, и 1 В – в противном случае. В среднем в 90% времени блок исправен.

Найти количество информации, доставляемой прибором при одном измерении.

Решение. Введем обозначения:

X – измеряемое напряжение, Y – показание вольтметра.

Из условия задачи следует, что величина X – двоичная, причем

Сигнал Y есть непрерывная случайная величина, и для нее заданы условные плотности вероятности:

Рассматриваемый канал является дискретно-непрерывным, так как входной сигнал дискретен, а выходной непрерывен. Требуется найти среднюю взаимную информацию I(X;Y).

Найдем безусловную плотность вероятности выходного сигнала:

Далее вычисляем величину средней взаимной информации, учитывая соотношение (3.1.3)

ЗАДАЧИ

1. Автобусы ходят ровно через 10 мин. Пассажир случайно вышел на остановку и узнал, что в последние 7,5 мин, автобуса не было. Сколько информации он получил?

2. Погрешность фазометра распределена нормально со с.к.о. 3°. Найти количество информации, получаемой при измерении значения начальной фазы радиосигнала, если она может с одинаковой вероятностью принять любое значение.

3. Некто обладает развитым чувством времени и может без часов угадать текущее значение времени. Указанное им значение всегда бывает меньше истинного и распределено по экспоненциальному закону со средним 10 мин. Человек посмотрел, на часы, о которых известно, что они всегда отстают, причем ошибка их показаний распределена также экспоненциально со средним 30 с. Сколько информации он при: этом получил?

4. Найти величину взаимной информации между исходной и квантованной величинами в задаче 1.5.

5. Вычислить взаимную информацию между случайными величинами: а) из задачи 1.10; б) из задачи 1.13.

6. Случайные величины X и Y имеют совместное нормальное распределение. Найти зависимость средней взаимной информации от коэффициента корреляции.

7. Вес изделия из большой партии есть случайная величина, распределенная по нормальному закону со с.к.о., равным 10 кг. Из партии наугад берут изделие и 100 раз взвешивают на стрелочных весах со среднеквадратичной погрешностью 100 г. Результаты всех взвешиваний суммируют.

Вычислить количество информации, содержащейся в суммарном результате.

8. Сигнал на выходе радиолокационного приемника является суммой отраженного от цели сигнала и независимого внутреннего нормального шума, имеющего нулевое среднее к с.к.о. 0,1 В. Амплитуда отраженного от цели сигнала равна 5 В.

Найти величину получаемой информации, если вероятность появления цели в зоне действия радиолокатора равна 0,01?

9. Сигнал; имеющий функцию распределения

подвергается равномерному квантованию с шагом, разным 2. Сколько информации содержится в квантованном сигнале?

10. Сигнал X, имеющий нормальное распределение, одновременно передается по двум параллельным каналам. В каждом канале действует аддитивный нормальный шум Q с нулевым средним и с.к.о. . Шумы в каналах независимы между собой и от входного сигнала:

а) вычислить среднюю взаимную информацию между входным сигналом X и парой выходных сигналов YZ;

б) привести пример преобразования двух выходных сигналов в один G = f(Z, Y), не разрушающего информации, т. е. такого, что

I(X; G) = I(X; YZ).

11. * Сообщение и сигнал в совокупности образуют систему 2n нормальных случайных величин с единичными с.к.о. Найти среднюю взаимную информацию между подсистемами X и Y, если заданы корреляционные матрицы R, В и Q, имеющие элементы: