1.1. Понятие информации ...................................................................... 1

1.2. Количественная мера информации для равновозможных событий 3

1.3. Количественная мера информации для разновозможных

сообщений (сообщений). Энтропия источника дискретных

(цифровых) сообщений ..................................................................... 5

1.4. Свойства энтропии источника дискретных сообщений .............. 8

1.5. Энтропия источника совместных событий ................................. 10

1.6. Определение количества информации источника дискретных

сообщений при неполной достоверности результатов опыта ...12

1.7. Некоторые свойства количественной меры информации

источника дискретных сообщений

при неполной достоверности результатов опыта ....................... 14

1.8. Пример вычисления количественной меры информации

при неполной достоверности результатов опыта ....................... 15

1.9. Избыточность источника сообщений .......................................... 16

Контрольные вопросы .......................................................................... 18

2. Информационные характеристики непрерывных (аналоговых) источников информации ...................................................................... 19

2.1. Понятие о непрерывных (аналоговых) источниках

информации ................................................................................... 19

2.2. Энтропия непрерывного источника информации.

Количество информации в одном замере непрерывной

случайной величины ..................................................................... 19

2.3. Примеры вычисления энтропии непрерывных источников

информации ................................................................................... 21

2.4. Количество информации, содержащееся в одном замере

непрерывной случайной величины при неполной

достоверности результатов измерения ........................................ 22

Контрольные вопросы ......................................................................... 24

3. Понятие о пропускной способности каналов

и скорости передачи информации ...................................................... 24

3.1. Пропускная способность дискретного (цифрового) канала ...... 24

3.1.1. Пропускная способность дискретных (цифровых)

каналов при отсутствии шумов .......................................... 25

3.1.2. Пропускная способность дискретных (цифровых)

каналов с шумами ............................................................... 33

3.2. Пропускная способность непрерывных (аналоговых)

каналов ........................................................................................... 37

3.3. Определение пропускной способности непрерывного канала . 39

Контрольные вопросы ......................................................................... 47

Библиографический список ..................................................................... 47

Контрольная работа № 1

1. Мера Хартли

1.1. Условия применения.

1.2. Математическое описание.

1.3 Недостатки.

1.4 Вычислить количество информации, полученной в результате опыта, от источника с N состояниями:

1.4.1. N=N1 и равно сумме чисел, соответствующих числу и месяцу Вашего рождения.

1.4.2. N=N2 и равно числу, составленному из двух последних цифр года Вашего рождения.

1.4.3. N=N1+N2.

2. Энтропия ансамбля дискретных событий (формула Шеннона)

2.1. Условия применения.

2.2. Математическое описание.

2.3 Достоинства и недостатки.

2.4. Энтропия двоичного канала как источника сообщений. Зависимость от вероятности нахождения канала в каждом из состояний (0 или 1).

2.5. Перечислите свойства энтропии.

3. Вычислить энтропию источника дискретных сообщений, число состояний которого взять из п.п. 1.4.1-1.4.3. При этом вероятности первых двух состояний принять равными p_i – 0.01, а последних двух состояний p_i+0.01, где p_i – вероятности состояний, определенные в п.п. 1.4.1-1.4.3.

4 Определение количества информации при неполной достоверности результатов опыта

4.1. Математическое описание.

4.2. Свойства количественной меры информации при неполной достоверности результатов опыта.