Понятие дискретного источника сообщений.

Под ДИС понимают устройство, порождающее последовательности, составленные из букв конечного алфавита А, мощностью n<∞. При этом буквы последовательности порождаются в дискретные моменты времени.

t = 0, 1, 2, …

t = …, -2, -1, 0, 1, 2, …

Введение этих условий (конечность, дискретные моменты времени) обуславливает название этих источников. Всякий непрерывный источник информации можно в некотором смысле заменять с заданной степенью точности некоторым дискретным источником.

Последовательности, порождаемые ДИ можно рассматривать как траектории некоторых случайных процессов, задание которых и позволит ввести математическую модель источника.

Пусть бесконечная в обе стороны последовательность букв

представляет собой некоторую возможную реализацию источника. Будем рассматривать последовательность как элементарное событие некоторой σ-алгебры, задание которой, вместе с вероятностной мерой P даёт основание интерпретировать как некоторую траекторию случайного процесса.

Совокупность таких элементарных событий обозначим A = { . Любое подмножество множества A^I представляет некоторое событие σ-алгебры. Введём в рассмотрение событие следующего вида:

Пусть в момент времени t₁ источник порождает букву a_i1ϵ A. Тогда это событие C_t1(a_i1) является объединением всех таких элементарных событий , в которых координата с номером t в последовательности не фиксированы:

где x_t – произвольные буквы алфавита A и t≠t_i.

Если t₁, .., t_m – любые целые числа; a_i1, …, a_im – буквы из алфавита А, то событие C_t1…C_tm(a_i1, …, a_im) = {источник порождает букву aix в момент времени t_k, где 1≤k≤m} – множество всех последовательностей , у которых определённая координата, соответствующая моменту времени t_k фиксирована: x_tk = a_ik, k=1, …, m. Остальные координаты не фиксированы и могут принимать произвольные значения из A.

Математическое описание дискретного источника сообщений.

Цилиндрическим множеством (цилиндром) называется случайное событие C_t1…C_tm(a_i1, …, a_im).

Математическое описание источника задаётся как описание некоторого случайного процесса и состоит в задании:

1. Некоторого конечного алфавита A

2. σ-алгебры элементарных событий

3. вероятностной меры

Для ДИС вводят следующие обозначение: [A, P(s)], P(A^I)=1.

Пусть ϵ A^I. Тогда через T обозначим последовательность

T представляет собой сдвиг на один шаг влево исходной последовательности .

Если RcA^I, то TR – совокупность всех T , для которых ϵR, т.е. ϵR T ϵTR. Очевидно, что TA^I = A^I.

Понятие стационарного источника

Пусть А — {a₁,...,a_k.} — конечный алфавит и х ϵ А∞. Будем обозначать через подслово последовательности x, начиная с i-й и заканчивая j-й буквой, а через xⁿ начало последовательности x длины n, т. е. . Дискретным источником X называется дискретный случайный процесс со значениями в А. Источник полностью задается вероятностями Pr(Xⁿ=xⁿ), которые определены для всех xⁿ ϵ Aⁿ и целых n>0 и удовлетворяют равенствам . Тогда . Источник X называется стационарным, если для всех целых t>0 и справедливы равенства .

Энтропия стационарного источника

Введем обозначение . Для каждого стационарного

источника X равенство определяет неотрицательную величину Н(Х), которая называется энтропией источника.