1.4. Контрольные вопросы

1.4.1. Что такое случайное событие? Определите события: достоверное, невозможное, противоположное, сумма событий, произведение событий, полная группа событий.

1.4.2. Что такое вероятность?

1.4.3. Что такое условная вероятность? Каковы ее свойства?

1.4.4. Сформулируйте теорему умножения вероятностей.

1.4.5. Сформулируйте теорему сложения вероятностей.

1.4.6. Напишите формулу полной вероятности.

1.4.7. Напишите формулу Байеса.

1.4.8. Известны события A,B,C, причем A влечет за собой B. Определить: AB, A+B, ABC, A+B+C.

1.4.9. Система состоит из четырех приемников с непересекающимися сферами. Длительность сигнала такова, что он не может быть одновременно обнаружен двумя приемниками. Найти связь событий: A - сигнал обнаружен системой, - сигнал обнаруженi-м приемником.

1.4.10. Прибор состоит из двух блоков первого типа и трех блоков второго типа. Определены события: - исправенi-й блок первого типа; - исправен j-й блок второго типа. Прибор исправен, если работает хотя бы один блок первого типа и не менее двух блоков второго типа. Выразить событие «Прибор работает» через события и.

1.4.11. Что является полным описанием дискретной случайной величины?

1.4.12. Что такое математическое ожидание, дисперсия, средний квадрат дискретной величины?

1.4.13. Показать, что математическое ожидание суммы независимых случайных величин равно сумме математических ожиданий этих величин.

1.4.14. Показать, что математическое ожидание произведения независимых случайных величин равно произведению матожиданий этих величин.

1.4.15. Доказать, что дисперсия суммы независимых случайных величин равна сумме дисперсий этих величин.

1.4.16. Вывести расчетное соотношение для дисперсии через матожиданиеи средний квадратгде- возможные значения случайной величины;- вероятность этих значений.

1.4.17. Показать, что для среднеарифметического независимых случайных величин с одинаковыми среднимии дисперсиямивыполняются соотношения

1.4.18. Как определяется плотность распределения вероятности непрерывной случайной величины?

1.4.19. Какими свойствами обладает плотность распределения вероятности непрерывной случайной величины?

1.4.20. Что такое математическое ожидание, дисперсия непрерывной случайной величины?

2. Информационная мера шеннона.

2.1. Количество информации и избыточность.

Дискретные системы связи - системы, в которых как реализации сообщения, так и реализации сигнала представляют собой последовательности символов алфавита, содержащего конечное число элементарных символов.

Пусть и- случайные величины с множествами возможных значений

Количество информации при наблюдении случайной величиныс распределением вероятностейзадается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении количество информации задается формулой Хартли:

.

Справедливы следующие соотношения:

1)

2)

3) еслии- независимы.

Избыточностью называется

Рассмотрим примеры.

Пример 1. Имеются два источника информации, алфавиты и распределения вероятностей которых заданы матрицами:

Определить, какой источник дает большее количество информации, если

1) 2)

Решение. Для первого источника при равновероятном распределении воспользуемся формулой Хартли. Для иимеем

Следовательно, источник с тремя символами дает большее количество информации. Для второго случая воспользуемся формулой Шеннона:

с учетом условия задачи имеем

С другой стороны,

Поскольку

то

Пример 2. Источник сообщений выдает символы из алфавита с вероятностямиНайти количество информации и избыточность.

Решение. По формуле Шеннона

(бит).

По определению избыточности