- •Лекция №1. Теория информации.
- •1.2 Основные понятия комбинаторики.
- •1.3 Случайные модели в теории информации.
- •1.4 Основные понятия теории информации
- •Этапы обращения информации:
- •Практическое занятие
- •Лекция №2. Меры информации
- •1.Энтропия всегда неотрицательна.
- •3.Энтропия сообщения максимальна, если события равновероятны.
- •4.Энтропия аддитивна.
- •Аксиомы Хинчена
- •Аксиомы Фадеева
- •2.4 Понятие совместной энтропии.
- •Лекция №3 .Источники информации и их энтропия.
- •Лекция №4 оптимальное и эффективное кодирование
- •4.3.3. Арифметическое кодирование.
- •Лекция № 5 помехоустойчивое кодирование
- •5.1 Классификация помехоустойчивых кодов.
- •5.2 Параметры (характеристики) помехоустойчивых кодов и их границы. Корректирующие свойства кодов.
- •0 Запрещенные кодовые комбинации00
- •5.3.Линейные (систематические) коды.
- •5.3.1.Механизмы кодирования и синдромного декодирования.
- •100 → Ошибка в b1,
- •5.3.2. Матричное представление линейных (систематических) кодов.
100 → Ошибка в b1,
010→ ошибка в b2,
001→ ошибка в b3.
Появление большего числа единиц в синдроме будет связано с ошибками в информационных символах.
Теперь присвоим информационным символам с ошибками оставшиеся синдромы, причем в порядке возрастания их двоичных символов:
011→ ошибка в ,
101→ ошибка в ,
110→ ошибка в ,
111→ ошибка в .
Для определения коэффициентов их надо подобрать таким образом, чтобы при возникновении ошибки в информационном символе аi появлялся бы соответствующий этой ошибке синдром.
Например, для ошибки в символе необходимо в уравнениях правила формирования проверочных символов коэффициенты при этом ошибочном символе взять соответствующими синдрому этого символа. Тогда
→ =0, = 1, =1,
→=1, =0, =1,
→=1, =1, =0,
→=1, =1, =1.
Тогда по этим коэффициентам строятся уравнения формирования проверочных символов, которые будут иметь вид:
,
,
.
5.3.2. Матричное представление линейных (систематических) кодов.
В матричной форме систематическое кодирование задается некоторой порождающей матрицей Gk×n. Тогда можно записать следующее соотношение:
B1×n= A1×k • Gk×n, где B1× n= [] - вектор-строка кодового слова; A1× k = [ ] - вектор-строка информационного слова; Gk×n- порождающая матрица.
Порождающая матрица может быть представлена в следующем виде, если учесть, что для проверочных символов мы выбираем синдром с одной единицей, и использовать правило формирования проверочных символов, тогда:
Gk×n= (Ik×k Pk×r), где Ik×k - единичная матрица по числу информационных символов; Pk×r - правило формирования проверочных символов.
Заметим, что в матрице Pk×r включаются именно коэффициенты , которые и дают правило формирования проверочных символов.
Для рассмотренного ранее примера порождающая матрица будет иметь вид:
1
G4×7
= |
0 |
0 |
0 |
0 |
1 |
1 |
0 |
1 |
0 |
0 |
1 |
0 |
1 |
0 |
0 |
1 |
0 |
1 |
1 |
0 |
0 |
0 |
0 |
1 |
1 |
1 |
1 |
|
|
|
|
|
|
|
Тогда можно определить любой вектор кодовой комбинации В по заданному вектору информационных символов А.