23. 1 Понятие стационарности (ссп).

Стационарными случайными процессами называют случайные процессы, статистические характеристики ко­торых одинаковы во всех временных сечениях.

Говорят, что случайный процесс строго стационарен (или стационарен в узком смысле), если его многомерная плотность вероятности р(х₁, х₂, .... x_n, t₁, t₂, .... t_n) произвольной размерности n не изменяется при одновременном сдвиге всех вре­менных сечений t₁, t₂,.... t_n вдоль оси времени на одинаковую величину τ:

p(x₁, х₂.....х_n, t₁, t₂.....t_n) = p(x_1, x₂.....x_n, t₁+τ, t₂+τ..... t_n+τ) при любом τ.

Если же ограничить требования тем, чтобы от временного сдвига не зависели лишь одномерная и двумерная плотности вероятности, то такой случайный про­цесс будет стационарен в широком смысле. Понятно, что из стационарности в уз­ком смысле следует стационарность в широком смысле, но не наоборот.

Для стационарного случайного процесса математическое ожидание и дисперсия не зависят от времени, а корреляционная функция зависит не от самих моментов времени, а только от интервала между ними τ=t₂-t₁:

R_x(t₁, t₂) = R_x(t₂ - t₁) = R_x(τ) .

Корреляционная функция стационарного случайного про­цесса является четной:

R_x(-τ) = R_x(τ) .

Кроме того, абсолютные значения этой функции при любых τ не превышают ее значения при τ = 0 (оно равно дисперсии случайного процесса).

23.2 Условная Энтропия .Понятие.

Взаимная статистическая связь между сообщениями Х и Y характеризуется условными вероятностями , определяющими вероятность появления элементов y_j при условии, что стал известен элемент сообщения x_i. Информативность сообщений Y после того, как стал известен элемент x_i , характеризуется частной условной энтропией, определяемой выражением : . Проведем усреднение по всем возможным элементам и найдем общую условную энтропию сообщений Y относительно сообщений x : . Используя известные соотнешения для вероятности совместного появления 2ух зависимых событий: , получим: . Смысл условной энтропии в том,что она является мерой кол-ва информации в сообщениях Y, когда известно, что передаются сообщения Х. Используя соотнешения теории вер-ти, можно показать, что услов.энтропия сообщений Y относительно Х при жесткой статистич.зависимости (т.е. когда одна из услов.вероятностей в строке таблицы услов.вероятностей =1,а все остальные =0) равна нулю, т.е. в сообщениях Y нет никакой новой информации. При статистич.независимости сообщений Х и Y услов.энтропия равна безусловной энтропии сообщений . Энтропия объединения равна сумме двух энтропий: безусловной энтропии сообщений и услов.энтропии : . Таким образом, услов.энтропия характеризует ту добавочную информацию, котрую дают сообщения Y при условии,что известна энтропия сообщений Х.

23.3 Оптимальное кодирование. Критерий оптимальности кода

Оптимальное статистическое кодирование обеспечивает минимизацию среднего количества кодовых символов на один элемент сообщения. Этим обеспечивается получение максимально возможного количества информации, передаваемого кодовыми комбинациями при заданной длительности работы канала, а следовательно, и пропускной способности канала.

Все они должны обеспечивать решение' двух основных задач:

1)при заданной статистике источника сообщений формирование кодовых комбинаций со статистическими характеристиками, при которых достигается приближение скорости передачи информации к пропускной способности канала;

2)возможность однозначного декодирования сигналов на приемной стороне.( ни одна из кодовых комбинаций не является началом другой. Этим обеспечивается требование разделимости кодовых комбинаций, т. е. возможность одно­значного декодирования сигналов.)

Критерий оптимальности кода.

Оптимальное согласование сообщения с каналом будет при выборе длительностей символов сообщения в соответствии с выражением

(II1-60}

или в другой записи для случая, когда

(111-61)

Из (II1-60) следует, что длительности символов сообщения должны быть пропорциональны логарифму вероятности их появления, т. е. наиболее вероятные символы должны иметь наименьшую длительность, а наименее вероятные — большую длительность. Если символы данного сообщения не удовлетворяют условиям оптимального согласования, они могут быть при согласовании заменены другими символами в соответствии с условиями (111-60) или (111-61). Такая замена называется оптимальным кодированием.

Оптимальные коды: код Шеннона- Фано и код Хаффмена.