6.2 Интервал корреляции, суть понятия

Для оценки статистической связи введено понятие интервала корреляции. Суть понятия в том, что значение случайного процесса и можно считать статистически независимыми при условии .

Интервал корреляции - числовая характеристика, которая служит для оценки “скорости изменения” реализации случайного процесса.

И нтервал корреляции определяется как половина ширины прямоугольника единичной высоты, площадь которого равна площади под графиком коэффициента корреляции.

, де – нормированная корреляционная функция.

Интервал корреляции также связан с эффективной шириной спектра случайного процесса: .

6.3 Обнаружение двукратных ошибок кодом Хэмминга

Код Хэмминга предназначен для обнаружения и исправления однократной ошибки. При построении кода каждый из k проверочных символов определяется как результат суммирования по модулю 2 определенного сочетания инфор­мационных символов. В результате этого сумма проверяемых инфор­мационных и контрольного символа всегда является четной. Количество контрольных символов для исправления 1-кратной ошибки определяется по формуле: , где -количество символов в кодовой комбинации. Контрольные символы располагаются на местах, определяемых степенью двойки (1, 2, 4, 8, 16…)

В коде Хэмминга проверки на четность организованы таким образом, что получается число, указывающее номер позиции, на которой произошло искажение.

При проверке на четность мы используем номер позиции, соответствующей единице, находящейся в том разряде, какую проверку мы делаем, то есть если первая проверка, то смотрим единицы по первому разряду.

Если число единиц на проверочных позициях четное то контрольный символ равен 0, а если число единиц на проверочных позиция не четное, то контрольный символ равен 1. Число проверок организовано таким образом, что получается число, указывающее на номер позиции, на которой произошла однократная ошибка.

Для обнаружения двукратной ошибки необходимо добавить 1 контрольный символ к коду Хэмминга: . Дополнительная проверка включает в себя все символы кодовой комбинации. При декодировании сначала делают k проверок в соответствии с формулами, а потом осуществляют (k+1) проверку. При этом, если некоторые проверки и (k+1) проверка дают ненулевой результат, то была однократная ошибка. Если же последняя проверка даст нуль, то имеем дело с двукратной ошибкой.

Например, кодовая комбинация 1001 была закодирована кодом Хэмминга. Для исправления 1-кратной ошибки нужно использовать 3 контрольных символа (позиции х1, х2, х4). После проверок имеем код (табл). Чтобы обнаружить двукратную ошибку, введем дополнительный контрольный символ х8=1, чтоб соблюдать четность. Например произошла ошибка на позициях х4 (1→0) и х7 (1→0). Делаем 4 проверки. В последней проверки при суммировании всех членов комбинации получили 0. Двукратная ошибка обнаружена.

7.1 Статистический подход к измерению информации

Особенность статистического метода в том, что он определяет энтропию как меру неопределенности, с учетом вероятностей появления элементов сообщения. Все возможные сообщения составляют ансамбль . Вероятности не остаются постоянными, поэтому можно говорить о статистических характеристиках как о переменных величинах (в большинстве случаев). Имеем сообщение из n элементов и алфавита m, где р₁, р₂…р_m – вероятности появления элементов, а сами элементы алфавита обозначим как . Вероятность того, что в сообщение войдут n_i элементов x_i, равняется , а вероятность образования сообщения из n₁ n₂, ..., n_i ..., n_т соответствующих элементов будет равна При достаточно большом значении n имеем элементов х_i, а вероятность появления типичных сообщений р может быть найдена с учетом выражения . Количество информации в одном сообщении: