Кількісна оцінка інформації в системах з нерівномірним розподілом імовірностей

Наведені в теоретичному матеріалі до заняття 1 формули 1.2-1.7 є справедливими у випадках, коли імовірності для всіх варіантів повідомлень (або інших предметів дослідження) однакові.

У випадку різних імовірностей отримання можливих варіантів представлення предмету дослідження ентропія визначається як математичне очікування функції розподілу імовірностей, які відповідають зазначеним варіантам:

,

(2.1)

де N – кількість можливих варіантів представлення предмета дослідження; p_i – імовірність отримання і-того (і=1,...,N) варіанта представлення предмета дослідження.

Примітка 2.1. Формула (2.1) є справедливою тільки у випадку дослідження повних систем подій, тобто коли сума всіх значень p_i дорівнює одиниці.

Примітка 2.2. З формули (2.1) можна легко отримати формулу (1.6) для обчислення ентропії у випадку рівних імовірностей отримання можливих варіантів представлення предмету дослідження. При цьому слід враховувати, що p_i = 1/N.

Приклад 2.1. В алфавіті чотири літери А, В, С, D. Імовірності появи літер дорівнюють р_А=р_В=0.25; р_С=0.34; р_D=0.16. Визначити кількість інформації на символ повідомлення, що складається з такого алфавіту.

Розв’язок.

Кількістю інформації на символ повідомлення (алфавіту) є ентропія алфавіту. Оскільки імовірності появи літер різні, для визначення ентропії алфавіту використовуємо формулу (2.1). Отримуємо:

Н=-(0.25 log₂ 0.25+0.25 log₂ 0.25+0.34 log₂ 0.34+

+0.16 log₂ 0.16)=0.5+0.5+0.529174+0.423017=

=1.952191 біта/символ .

Виходячи з формул (1.7) та (2.1) можна отримати середню кількість інформації, яка приходиться на k повідомлень в такій системі:

,

(2.2)

Примітка 2.3. Значення, розраховане за формулою (2.2) при k=1, не обов’язково відповідає реальній кількості інформації в якомусь одному певному повідомленні з числа досліджуваних. Формула (2.2) дозволяє отримати середньостатистичне значення кількості інформації, яке наближається до фактичного по мірі збільшення значення k.

Приклад 2.2. ЕОМ складається з трьох блоків, кожен з яких може знаходитися в одному з чотирьох станів 1,2,3,4 з імовірностями р₁=0.25; р₂=0.125; р₃=0.125; р₄=0.5. Визначити ентропію ЕОМ.

Розв’язок.

Для визначення ентропії ЕОМ (системи, групи повідомлень) необхідно визначити ентропію її елементарної складової частини - блока (в різних випадках може бути елемент, вузол, блок, окреме повідомлення з групи, літера повідомлення).

Ентропію одного блока визначаємо за формулою (2.1):

Н_бл=-(0.25т log₂ 0.25 + 0.125 log₂ 0.125 +

+0.125 log₂ 0.125 + 0.5 log₂ 0.5)=

=0.5+0.375+0.375+0.5=1.75 біта/стан .

Ентропія ЕОМ визначається як сумарна ентропія її складових частин:

Н_ЕОМ =Н_бл1 + Н_бл2 + Н_бл3 = 1.75 * 3 = 5.25 біт/стан .

Завдання для закріплення матеріалу заняття 2

Завдання 1. Алфавіт складається з літер А, Б, В, Г. Імовірності появи літер дорівнюють р_А=0.25; р_Б=0.5; р_В=0.125; р_Г=0.125. Визначити ентропію на символ алфавіту в бітах та дітах. Скільки інформації в середньому несе повідомлення з 10 символів такого алфавіту?

Завдання 2. Алфавіт складається з літер Д, Е, Ж, З. Імовірності появи літер дорівнюють р_Д=0.2; р_Е=0.1; р_Ж=0.34; р_З=0.36. Визначити ентропію на символ алфавіту в бітах та дітах. Скільки інформації в середньому несе повідомлення з 8 символів такого алфавіту?

Завдання 3. Символи алфавіту, які мають 5 якісних ознак, об’єднуються в повідомлення по 10 символів. Визначити кількість інформації, яка в середньому випадає на одне таке повідомлення, якщо імовірності появи символів в повідомленні дорівнюють: 0.5; 0.25; 0.1; 0.05; 0.1. Скільки повідомлень може бути складено з такого алфавіту?

Завдання 4. Символи алфавіту, які мають 4 якісні ознаки, об’єднуються в повідомлення по 12 символів. Визначити кількість інформації, яка в середньому випадає на одне таке повідомлення, якщо імовірності появи символів в повідомленні дорівнюють: 0.4; 0.2; 0.1; 0.3. Скільки повідомлень може бути складено з такого алфавіту?

Завдання 5. Алфавіт складається з чотирьох літер. Визначити, в якому випадку ентропія на символ алфавіту більша: якщо імовірності появи літер однакові або якщо імовірності появи літер різні.

Завдання 6. Алфавіт складається з шести літер. Визначити, в якому випадку ентропія на символ алфавіту більша: якщо імовірності появи літер однакові або якщо імовірності появи літер різні.

Завдання 7. Алфавіт складається з N літер, імовірності появи яких дорівнюють 1/N. Доказати тотожність формул Н = log_l N та при вирішенні задачі обчислення ентропії на символ такого алфавіту (з формули вивести формулу Н = log_l N).

Завдання 8. Обчислювальна мережа може знаходитись в одному з 8 станів з імовірностями: 0.1; 0.05; 0.2; 0.2; 0.1; 0.05; 0.05; 0.25. Визначити ентропію обчислювальної мережі.

Завдання 9. Обчислювальна мережа може знаходитись в одному з 5 станів з імовірностями: 0.3; 0.05; 0.35; 0.2; 0.1. Визначити ентропію обчислювальної мережі.

Завдання 10. Обчислювальна система генерує 5 повідомлень з імовірностями: 0.25; 0.15; 0.2; 0.1; 0.3. Визначити ентропію на одне повідомлення системи. Скільки інформації в середньому несе 5 таких повідомлень?

Завдання 11. Обчислювальна система генерує 7 повідомлень з імовірностями: 0.05; 0.2; 0.1; 0.05; 0.2; 0.1; 0.3. Визначити ентропію на одне повідомлення системи. Скільки інформації в середньому несе 2 таких повідомлення?

Завдання 12. Імовірність виходу ЕОМ з ладу на протязі періоду випробувань дорівнює 0.4 . Визначити ентропію ЕОМ в бітах та дітах.

Завдання 13. Імовірність виходу ЕОМ з ладу на протязі періоду випробувань дорівнює 0.676 . Визначити ентропію ЕОМ в бітах та дітах.

Завдання 14. Система складається з двох ЕОМ. Імовірність знаходження в справному стані обох ЕОМ дорівнює 0.9; імовірність відмови тільки першої ЕОМ дорівнює 0.05; імовірність відмови тільки другої ЕОМ дорівнює 0.04; імовірність відмови обох ЕОМ дорівнює 0.01 . Визначити ентропію системи.

Завдання 15. Система складається з трьох ЕОМ. Імовірність знаходження в справному стані обох ЕОМ дорівнює 0.6; імовірність відмови тільки першої ЕОМ дорівнює 0.1; імовірність відмови тільки другої ЕОМ дорівнює 0.4; імовірність відмови третьої ЕОМ дорівнює 0.1; імовірність відмови трьох ЕОМ дорівнює 0.01 . Визначити ентропію системи.

Завдання 16. Обчислювальна система складається з 5 підсистем. Визначити ентропію системи, якщо відомо, що імовірність виходу з ладу першої та другої підсистем дорівнює 0.125, імовірність виходу з ладу третьої підсистеми дорівнює 0.5, імовірність виходу з ладу четвертої та п’ятої підсистем дорівнює 0.25.

Завдання 17. Обчислювальна система складається з 6 підсистем. Визначити ентропію системи, якщо відомо, що імовірність виходу з ладу першої та другої підсистем дорівнює 0.12, імовірність виходу з ладу третьої підсистеми дорівнює 0.8, імовірність виходу з ладу четвертої та п’ятої підсистем дорівнює 0.5; імовірність виходу з ладу шостої підсистеми дорівнює 0.24.

Завдання 18. Обчислювальний комплекс складається з мікропроцесорного блока, блока пам’яті, блока контролерів та з системи периферійних пристроїв. Визначити ентропію обчислювального комплексу, якщо відомо, що імовірності виходу з ладу за період випробувань його складових частин дорівнюють: 0.1 для мікропроцесорного блока; 0.2 для блока пам’яті; 0.3 для блока контролерів; 0.5 для системи периферійних пристроїв.

Завдання 19. Обчислювальний комплекс складається з мікропроцесорного блока, блока пам’яті, блока контролерів та з системи периферійних пристроїв. Визначити ентропію обчислювального комплексу, якщо відомо, що імовірності виходу з ладу за період випробувань його складових частин дорівнюють: 0.15 для мікропроцесорного блока; 0.25 для блока пам’яті; 0.4 для блока контролерів; 0.2 для системи периферійних пристроїв.

Завдання 20. Обчислювальна система складається з 3 підсистем. Перша підсистема може знаходитись в 4 станах з імовірностями: 0.25; 0.25; 0.25; 0.25 . Друга підсистема може знаходитись в 2 станах з імовірностями: 0.35; 0.65 . Третя підсистема може знаходитись в 3 станах з імовірностями: 0.15; 0.25; 0.6 . Визначити ентропію обчислювальної системи.

Завдання 21. Обчислювальна система складається з 4 підсистем. Перша підсистема може знаходитись в 3 станах з імовірностями: 0.5; 0.25; 0.25 . Друга підсистема може знаходитись в 3 станах з імовірностями: 0.35; 0.35; 0.3. Третя підсистема може знаходитись в 2 станах з імовірностями: 0.4; 0.6 . Визначити ентропію обчислювальної системи.

Завдання 22. Обчислювальний комплекс складається з 5 блоків. Перший блок комплексу може знаходитись в 2 станах з імовірностями 0.5 . Другий блок - в 4 станах з імовірностями 0.25 . Третій блок - в 2 станах з імовірностями: 0.25; 0.75 . Четвертий блок - в 3 станах з імовірностями: 0.25; 0,25; 0.5 . П’ятий блок - в 4 станах з імовірностями: 0.25; 0.2; 0.25; 0.3 . Визначити ентропію обчислювального комплексу.