- •Теорія інформації та кодування
- •Загальні положення, які необхідно знати для успішного вирішення задач теорії інформації та кодування
- •Тема 1 Кількісна оцінка інформації
- •Математичні основи теорії інформації. Міра Хартлі. Ентропія.
- •Оскільки основа логарифма дорівнює основі системи числення, для перевірки правильності розрахунків можна визначити всі можливі комбінації двійкового коду довжиною 4 біта:
- •Як видно, обидва варіанти рішення дали однаковий результат. Завдання для закріплення матеріалу заняття 1
- •Кількісна оцінка інформації в системах з нерівномірним розподілом імовірностей
- •Завдання для закріплення матеріалу заняття 2
- •Тема 2 Надлишковість повідомлень та оптимальне кодування
- •Оцінка недовантаження та надлишковості повідомлень
- •Згідно з формулою (3.1) визначаємо абсолютне недовантаження двійкового шестирозрядного повідомлення:
- •Завдання для закріплення матеріалу заняття 3
- •Оптимальне кодування повідомлень (стиск інформації)
- •Завдання для закріплення матеріалу заняття 4
- •Тема 3 Перешкодостійке кодування
- •Основи перешкодостійкого кодування. Оцінка перевіряючої та корегуючої здатності кодів
- •Завдання для закріплення матеріалу заняття 5
- •Паритетні коди. Кодування за парністю та непарністю повідомлень і блоків даних
- •Завдання для закріплення матеріалу заняття 6
- •Код Хеммінга
- •Завдання для закріплення матеріалу заняття 7
- •Циклічні коди
- •Завдання для закріплення матеріалу заняття 8
- •Значення двійкових логарифмів цілих та дробових чисел
- •Значення десяткових логарифмів цілих та дробових чисел
- •Приклади мінімальних неприводимих в полі двійкових чисел многочленів
- •Перелік використаних джерел
- •Додаткова література
Теорія інформації та кодування
Методичні вказівки до практичних робіт
для студентів денної та заочної форм навчання
Зміст
|
Стор. |
Вступ |
4 |
Загальні положення, які необхідно знати для успішного вирішення задач теорії інформації та кодування |
5 |
Тема 1. Кількісна оцінка інформації Заняття 1. Математичні основи теорії інформації |
6 |
Завдання для закріплення матеріалу заняття 1 |
11 |
Заняття 2. Кількісна оцінка інформації в системах з нерівномірним розподілом імовірностей |
14 |
Завдання для закріплення матеріалу заняття 2 |
15 |
Тема 2. Надлишковість повідомлень та оптимальне кодування Заняття 3. Оцінка недовантаження та надлишковості повідомлень |
17 |
Завдання для закріплення матеріалу заняття 3 |
22 |
Заняття 4. Оптимальне кодування повідомлень (стиск інформації) |
25 |
Завдання для закріплення матеріалу заняття 4 |
34 |
Тема 3. Перешкодостійке кодування Заняття 5. Основи перешкодостійкого кодування. Оцінка перевіряючої та корегуючої здатності кодів |
36 |
Завдання для закріплення матеріалу заняття 5 |
41 |
Заняття 6. Паритетні коди. Кодування за парністю та непарністю повідомлень і блоків даних |
43 |
Завдання для закріплення матеріалу заняття 6 |
46 |
Заняття 7. Коди Хеммінга |
49 |
Завдання для закріплення матеріалу заняття 7 |
52 |
Заняття 8. Циклічні коди |
54 |
Завдання для закріплення матеріалу заняття 8 |
58 |
Додаток 1. Значення двійкових логарифмів цілих та дробових чисел |
61 |
Додаток 2. Значення десяткових логарифмів цілих та дробових чисел |
62 |
Додаток 3. Приклади мінімальних неприводимих в полі двійкових чисел многочленів |
63 |
Перелік використаних джерел |
64 |
Додаткова література |
64 |
Вступ
Методичні вказівки призначені для використання в ході практичних робіт з дисципліни «Теорія інформації та кодування» студентами денної та заочної форми навчання, напрямок базової вищої освіти: “6.0915 Комп’ютерна інженерія”.
Матеріал методичних вказівок розділено на теми (відповідно і на заняття), які охоплюють основні питання дисципліни «Теорія інформації та кодування». До кожної теми наводяться: теоретичні відомості, необхідні для практичного вирішення завдань; приклади розв’язання типових завдань; завдання для закріплення матеріалу.
В додатках до методичних вказівок надаються допоміжні матеріали, які можуть бути потрібними при вирішенні завдань.
Методичні вказівки можуть також використовуватися в якості посібника при виконанні контрольних робіт з дисципліни «Теорія інформації та кодування» студентами денної та заочної форми навчання.