- •Теорія інформації та кодування
- •Загальні положення, які необхідно знати для успішного вирішення задач теорії інформації та кодування
- •Тема 1 Кількісна оцінка інформації
- •Математичні основи теорії інформації. Міра Хартлі. Ентропія.
- •Оскільки основа логарифма дорівнює основі системи числення, для перевірки правильності розрахунків можна визначити всі можливі комбінації двійкового коду довжиною 4 біта:
- •Як видно, обидва варіанти рішення дали однаковий результат. Завдання для закріплення матеріалу заняття 1
- •Кількісна оцінка інформації в системах з нерівномірним розподілом імовірностей
- •Завдання для закріплення матеріалу заняття 2
- •Тема 2 Надлишковість повідомлень та оптимальне кодування
- •Оцінка недовантаження та надлишковості повідомлень
- •Згідно з формулою (3.1) визначаємо абсолютне недовантаження двійкового шестирозрядного повідомлення:
- •Завдання для закріплення матеріалу заняття 3
- •Оптимальне кодування повідомлень (стиск інформації)
- •Завдання для закріплення матеріалу заняття 4
- •Тема 3 Перешкодостійке кодування
- •Основи перешкодостійкого кодування. Оцінка перевіряючої та корегуючої здатності кодів
- •Завдання для закріплення матеріалу заняття 5
- •Паритетні коди. Кодування за парністю та непарністю повідомлень і блоків даних
- •Завдання для закріплення матеріалу заняття 6
- •Код Хеммінга
- •Завдання для закріплення матеріалу заняття 7
- •Циклічні коди
- •Завдання для закріплення матеріалу заняття 8
- •Значення двійкових логарифмів цілих та дробових чисел
- •Значення десяткових логарифмів цілих та дробових чисел
- •Приклади мінімальних неприводимих в полі двійкових чисел многочленів
- •Перелік використаних джерел
- •Додаткова література
Завдання для закріплення матеріалу заняття 4
Завдання 1. Послідовний код повідомлення отримано з використанням нерівномірного коду, в якому символам 1, 2, 3, 4 і 5 співставлено кодові комбінації 00, 01, 100, 101 та 111 відповідно. Відновити вихідне повідомлення, якщо його послідовний код має вигляд: 0001111001011110110010100.
Завдання 2. Послідовний код повідомлення отримано з використанням нерівномірного коду, в якому символам А, В, С, D і Е співставлено кодові комбінації 0, 10, 110, 1110 та 1111 відповідно. Відновити вихідне повідомлення, якщо його послідовний код має вигляд: 1111111010101101000110. Перевірити, як зміниться вигляд повідомлення, якщо старший розряд його послідовного коду змінить своє значення на протилежне.
Завдання 3. Для кодування повідомлення “ЗАВДАННЯ” створено нерівномірний код, в якому символам А, В, Д, З, Н і Я співставлено кодові комбінації 00, 101, 100, 111, 110 та 01 відповідно. Сформувати послідовний код повідомлення. Спробувати відновити повідомлення, замінивши значення одного з старших розрядів його послідовного коду на протилежне.
Завдання 4. Послідовний код повідомлення отримано з використанням нерівномірного коду, в якому символам Е, О, Р і Т співставлено кодові комбінації 0, 10, 110 та 111 відповідно. Відновити вихідний текст повідомлення та перевірити правильність формування ОНК (без повторної побудови коду, враховуючи статистичні дані появи символів Е, О, Р і Т в повідомленні), якщо послідовний код повідомлення має вигляд: 11110110011010.
Завдання 5. Імовірності появи символів алфавіту в повідомленнях дорівнюють: рА=0.3; рБ=0.1; рВ=0.4; рГ=0.15; рД=0.05. Без повторної побудови коду перевірити, чи може бути ОНК код, в якому наведеним символам алфавіту співставлені наступні кодові комбінації: А=00, Б=01, В=100, Г=111, Д=101.
Завдання 6. Імовірності появи символів алфавіту в повідомленнях дорівнюють: рА=0.4; рБ=0.3; рВ=0.1; рГ=0.1; рД=0.1. Без повторної побудови коду перевірити, чи може використовуватись в якості ОНК код, в якому наведеним символам алфавіту співставлені наступні кодові комбінації: А=0, Б=10, В=111, Г=110, Д=111.
Завдання 7. Імовірності появи символів алфавіту в повідомленнях дорівнюють: рА=0.7; рБ=0.1; рВ=0.1; рГ=0.1. Без повторної побудови коду перевірити, чи може використовуватись в якості ОНК код, що складається з кодових комбінацій 0 (символ А), 0 (символ Б), 110 (символ В), 111 (символ Г).
Завдання 8. Імовірності появи символів алфавіту в повідомленнях дорівнюють: рА=0.25; рБ=0.5; рВ=0.125; рГ=0.125. Без повторної побудови перевірити, чи може використовуватись в якості ОНК код, що складається з кодових комбінацій 0 (символ А), 10 (символ Б), 11 (символ В), 01 (символ Г).
Завдання 9. Імовірності появи символів алфавіту в повідомленнях дорівнюють: рА=0.25; рБ=0.5; рВ=0.125; рГ=0.125. Без повторної побудови коду перевірити, чи може використовуватись в якості ОНК код, що складається з комбінацій 10 (символ А), 0 (символ Б), 110 (символ В), 111 (символ Г).
Завдання 10. За методикою Шеннона-Фано сформувати ОНК для кодування символів алфавіту, імовірності появи яких дорівнюють: рА=0.4; рБ=0.2; рВ=0.1; рГ=0.05; рД=0.15; рЕ=0.1.
Завдання 11. За методикою Шеннона-Фано сформувати ОНК для кодування символів алфавіту, імовірності появи яких дорівнюють: рА=1/14; рБ=3/14; рВ=4/14; рГ=2/14; рД=1/14; рЕ=1/14; рЖ=2/14 .
Завдання 12. За методикою Шеннона-Фано сформувати ОНК для кодування символів алфавіту, імовірності появи яких дорівнюють: р1=0.2; р2=0.1; р3=0.4; р4=0.1; р5=0.055; р6=0.025; р7=0.075; р8=0.045 .
Завдання 13. За методикою Шеннона-Фано сформувати ОНК для кодування символів повідомлення, якщо воно складається з 10 символів А, 5 символів Б, 8 символів В, 12 символів Г, 7 символів Д та 8 символів Е.
Завдання 14. За методикою Шеннона-Фано сформувати ОНК для кодування повідомлення: 1110001123222332112544212.
Завдання 15. За методикою Шеннона-Фано сформувати ОНК для кодування повідомлення: ADBCBADCSDCASBDCSDSASCFDS.
Завдання 16. За методикою Шеннона-Фано сформувати ОНК для кодування літер свого прізвища та імені (без урахування пробілів та регістра літер).
Завдання 17. За методикою Хаффмена сформувати ОНК для кодування символів алфавіту, імовірності появи яких дорівнюють: рА=0.3; рБ=0.325; рВ=0.1; рГ=0.05; рД=0.1; рЕ=0.125.
Завдання 18. За методикою Хаффмена сформувати ОНК для кодування символів алфавіту, імовірності появи яких дорівнюють: р1=0.2; р2=0.1; р3=0.4; р4=0.1; р5=0.055; р6=0.025; р7=0.075; р8=0.045 .
Завдання 19. За методикою Хаффмена сформувати ОНК для кодування символів алфавіту, імовірності появи яких дорівнюють: рА=0.2; рБ=0.1; рВ=0.25; рГ=0.1; рД=0.15; рЕ=0.12.
Завдання 20. За методикою Хаффмена сформувати ОНК для кодування символів повідомлення, якщо воно складається з 24 символів А, 20 символів Б, 10 символів В, 16 символів Г, 12 символів Д та 18 символів Е.
Завдання 21. За методикою Хаффмена сформувати ОНК для кодування повідомлення: 0055212356663411315444212.
Завдання 22. За методикою Хаффмена сформувати ОНК для кодування повідомлення: EWREWEDSFREDASADCSDCASBDCSDSASCFDSD.