Порядок виконання роботи

1. Дати відповіді на контрольні запитання.

2. Розв’язати задачі згідно варіанту з використанням програм MathCad або Microsoft Excel.

3. Формування висновків та оформлення звіту.

Контрольні запитання

1. Дати визначення ентропії.

2. Дати визначення умовної ентропії.

3. Дати визначення безумовної ентропії.

4. Проаналізувати формулу Хартлі .

5. Проаналізувати формулу визначення ентропії за Шеноном.

Завдання лабораторної роботи

Варіант №1

Задача 1.

Ансамбель повідомлень джерела А визначено як А={0,1} та Р_А={0,75;0,25}. Статистична залежність повідомлень а_і є А характеризується умовними ймовірностями р(0/1)=0,12 ; р(1/0) =0,08.Визначити часткову та загальну умовну ентропію.

Задача 2.

Дослідження короткого замикання між джерелом А та спостерігачем В виявило такі умовні ймовірності вибору повідомлень b_j є В

Визначити часткову та загальну умовну ентропію повідомлень в певному каналі при рівно ймовірному виборі їх джерелом А та при Р_А={0,65;0,3;0,05}.

Задача 3.

Два статично незалежних джерела А та В визначаються наступною матрицею сумісних ймовірностей

Визначити часткову та загальну умовну ентропію, ентропію об’єднання, безумовну ентропію цих джерел, а також кількість інформації, що припадає на пару повідомлень а_і , b_j

Варіант №2

Задача 1.

Два статично незалежних джерела А та В визначаються наступною матрицею сумісних ймовірностей

Визначити часткову та загальну умовну ентропію, ентропію об’єднання, безумовну ентропію цих джерел, а також кількість інформації, що припадає на пару повідомлень а_і , b_j

Задача 2.

Відомо, що повідомлення а_і є А з’являється з імовірністю р_і=0,03 .Визначити кількість інформації, що міститься в цьому повідомленні.

Задача 3.

Ансамбель повідомлень джерела А визначено як А={0,1} та Р_А={0,65;0,35}. Статистична залежність повідомлень а_і є А характеризується умовними ймовірностями р(0/1)=0,3 ; р(1/0) =0,07.Визначити часткову та загальну умовну ентропію.

Варіант №3

Задача 1.

Дослідження короткого замикання між джерелом А та спостерігачем В виявило такі умовні ймовірності вибору повідомлень b_j є В

Визначити часткову та загальну умовну ентропію повідомлень в певному каналі при рівно ймовірному виборі їх джерелом А та при Р_А={0,55;0,4;0,05}.

Задача 2

Ансамбель С містить 16 рівноймовірних повідомлень. Визначити кількість інформації, яку містить кожне таке повідомлення.

Задача 3.

Два статично незалежних джерела А та В визначаються наступною матрицею сумісних ймовірностей

Визначити часткову та загальну умовну ентропію, ентропію об’єднання, безумовну ентропію цих джерел, а також кількість інформації, що припадає на пару повідомлень а_і , b_j

Варіант №4

Задача 1.

Джерело А та В мають розподіли ймовірностей повідомлень Р_А={0.1;0.1;0,15;0,125;0,125;0,1;0,15;0,15;} і Р_В={0.5;0.3;0,1;0,025;0,025;0,02;0,015;0,015;} . Ентропія якого джерела є більшою?

Задача 2.

Два статично незалежних джерела С та D визначаються наступною матрицею сумісних ймовірностей

Визначити часткову та загальну умовну ентропію, ентропію об’єднання, безумовну ентропію цих джерел, а також кількість інформації, що припадає на пару повідомлень c_і , d_j

Задача 3.

Дослідження короткого замикання між джерелом А та спостерігачем В виявило такі умовні ймовірності вибору повідомлень b_j є В

Визначити часткову та загальну умовну ентропію повідомлень в певному каналі при рівно ймовірному виборі їх джерелом А та при Р_А={0.6;0.2;0.1;0.1}.