- •Министерство образования и науки, молодёжи и спорта украины
- •Тема 1. Предмет теории информации и количественная мера информации
- •1.2 Этапы обращения информации
- •1.3 Система передачи информации
- •1.4 Задачи и постулаты прикладной теории информации
- •1.5. Количественная оценка информации дискретного источника. Энтропия.
- •1.6 Фундаментальные свойства энтропии
- •Тема 2. Основные виды энтропии дискретных источников. Условная и взаимная энтропии.
- •2.1 Условная энтропия.
- •2.2 Основные свойства условной энтропии.
- •2.3 Взаимная энтропия. Свойства энтропии объединения.
- •Тема 3. Эффективное кодирование источника дискретных сообщений в канале без помех.
- •3.1 Избыточность информации, причины ее появления.
- •3.2 Способы сокращения избыточности.
- •3.3 Теорема Шеннона для канала без помех.
- •4.1 Общие понятия и элементы теории кодирования
- •4.2 Цели кодирования
- •4.3 Оптимальные неравномерные коды
- •4.4 Коды Шеннона-Фэно
- •4.5 Коды Хаффмена
- •4.6 Особенности эффективных кодов.
- •Тема 4. Кодирование источника дискретных сообщений в канале с помехами. Общие принципы помехоустойчивого кодирования.
- •5.1 Кодирование информации для канала с помехами. Теорема Шеннона для канала с помехами.
- •5.2 Общие принципы использования избыточности
- •5.3 Связь корректирующей способности кода с кодовым расстоянием
- •6.1 Корректирующие свойства кодов с избыточностью.
- •6.2 Классификация корректирующих кодов
- •Тема 5. Регулярные методы построения двоичных помехоустойчивых кодов
- •7.1 Линейные коды. Общие медоды построения.
- •7.2 Определение числа добавочных разрядов r.
- •7.3 Построение образующей(порождающей) матрицы |om|.
- •7.4 Порядок кодирования
- •7.5 Порядок декодирования
- •7.6 Систематические коды. Код Хэмминга.
- •7.7 Обнаружение и исправление ошибок в коде Хэмминга
- •8.1 Двоичные циклические коды
- •8.2 Некоторые свойства циклических кодов
- •8.3 Матричное описание циклических кодов
- •8.4 Выбор образующего полинома
- •8.5 Декодирование циклических кодов
- •Тема 6. Построение кодов заданой помехоустойчивости. Применение недвоичных помехоустойчивых кодов.
- •9.1 Матричное описание циклических кодов.
- •9.2 Коды Боуза — Чоудхури — Хоквингема (бчх)
- •9.3 Систематический вид циклического кода.
- •9.4 Коды Рида–Соломона и их применение.
- •9.5 Циклический избыточный код crc
- •Тема 7. Информационные характеристики источников непрерывных сообщений. Источники с максимальной энтропией. Максимальная пропускающая способность канала связи с помехами.
- •10.1 Информационные характеристики источников непрерывных сообщений
- •10.2 Энтропия равномерного закона распределения
- •10.3 Энтропия гауссового закона распределения.
- •11.1 Пропускная способность канала связи с помехами для непрерывных сообщений
- •Тема 8. Методы кодирования информации со сжатием.
- •12.1 Подстановочные или словарно-ориентированные алгоритмы сжатия информации. Методы Лемпела-Зива.
- •13.1 Описание алгоритма сжатия lzw
- •Декодирование по lzw
- •Достоинства и недостатки lzw
- •13.2 Применение lz-алгоритмов упаковки данных
- •14.1 Кодирование длин повторений
- •14.2 Дифференциальное кодирование
- •Тема 9. Методы кодирования со сжатием и с потерями информации..
- •15.1 Методы сжатия с потерей информации
- •15.2 Точность. Помехи и искажения. Приближенное восстановление
- •15.5 Кодирование преобразований. Стандарт сжатия jpeg
- •Или же, в матричной форме,
- •Тема 10. Методы кодирования физических сигналов в компьютерных сетях.
- •16.1 Кодирование на физическом уровне.
- •16.2 Самонихронизирующиеся коды - коды rz и Манчестер-II
- •16.3 Несамосинхронизирующиеся коды. - код nrz
- •16.4 Высокоскоростные коды - код mlt-3 и pam 5
- •Еще более высокоскоростной код - код pam 5
- •16.5 Требуемая полоса частот для передачи данных и ширина спектра сигнала
- •Ширина спектра сигнала
6.2 Классификация корректирующих кодов
Общая классификация, удобная с точки зрения следующего изучения важнейших классов кодов, представлена на рисунке.
Корректирующие коды можно разделить на два больших класса: блочные и непрерывные.
Блочные коды состоят из отдельных комбинаций (блоков), которые кодируются и декодируются независимо.
Непрерывные или сверточные коды представляют непрерывную последовательность кодовых символов, ее разделения на отдельные кодовые комбинации не проводится.. Название этих кодов происходит от того что исходная последовательность непрерывного кода представляет свертку входной информационной последовательности с импульсной характеристикой кода. Составные(комбинированные, производные, коды произведений, специальные и др.) корректирующие коды строят на основе блочных или блочного и непрерывного кодов. Эти коды называют также каскадными кодами .
Блочный код называют линейным, если все его кодвые слова образуют линейное векторное пространство. Таким образом, новую разрешенную комбинацию кода можно получить как линейную комбинацию других разрешенных кодовых слов, в противоположном случае код называют нелинейным. Систематическим называют код, в котором кодовые слова состоят из k информационных и r проверочных символов, при этом позиции информационных и проверочных символов одни и те же для всех кодовых слов кода. Такое формирование кодовых комбинаций существенно упрощает техническую реализацию устройства кодировки и декодирования. Поэтому систематические коды являются одними из наиболее распространенных.
Подкласом линейных (систематических) кодов являются коды Хемминга и циклические коды, например, коды Боуза-Чоудхури- Хоквингема (БЧХ-коды). Редким случаем БЧХ-кодов являются коды максимальной длины (М-последовательности). По установленной традиции ряд подклассов коррекционных кодов помечают фамилиями тех ученых, которые впервые предложили и исследовали тот или другой вид кодировки.
Особенности построения и характеристики многих кодов, выделенных на рисунке является предметом дальнейшего рассмотрения.
Тема 5. Регулярные методы построения двоичных помехоустойчивых кодов
Лекция 7
7.1 Линейные коды. Общие медоды построения.
Рассмотрим класс помехоустойчивых алгебраических кодов, называемых линейными или часто линейными групповыми.
Определение: Линейными называют блоковые коды, дополнительные разряды которых образуются путем линейных операций над информационными разрядами.
Здесь используется понятие линейная операция. В теории кодирования в качестве линейной операции сложения используется сложение по модулю 2 (+).
7.2 Определение числа добавочных разрядов r.
Для определения числа добавочных разрядов можно воспользоваться уже нам известной формулой границы Хэмминга:
Если s=l, то есть строится код, исправляющий максимум однократные ошибки, то :
,
откуда получаем
2r≥r+k
С учетом последней формулы ищется наименьшее r при котором удовлетворяется это неравенство.
Пример: n=7, тогда путем простого перебора легко найти, что r=3. И соответствующий код имеет вид n(7,4).