35. Скорость передачи информации.

Среднее количество информации, передаваемое по каналу в единицу времени, называется скоростью передачи информации. В общем случае скорость передачи информации зависит от длительности передачи сообщений Т. При достаточно длинных сообщениях скорость передачи остается постоянной. В связи с этим аналитически скорость передачи информации выражается следующим образом

где / (Z, Y) — количество информации, передаваемое сигналом длительностью Т.

Наибольшая теоретически достижимая для данного канала скорость передачи информации называется пропускной способностью канала. Пропускная способность информационного канала равна С=макс{I(Z, Y)}. (5.6)

Скорость передачи информации в общем случае зависит от статистических свойств сообщения, метода кодирования и свойств канала. Пропускная способность — это характеристика канала. Она не зависит от фактической скорости передачи информации.

С целью наиболее эффективного использования информационного канала необходимо принимать меры к тому, чтобы скорость передачи информации была как можно ближе к пропускной способности канала.

Вместе с тем скорость ввода информации в канал не должна превышать пропускную способность канала, иначе не вся информация будет передана по каналу.

Аналитически скорость ввода информации (поток информации) выражается следующим образом:

(5-7)

где I (X) — среднее количество информации, содержащееся в сообщении на входе канала; Т — длительность сообщения. Таким образом, должно быть выполнимо условие

(6.8)

Это основное условие динамического согласования источника сообщений и информационного канала.

Одним из основных вопросов в теории передачи информации является определение зависимости скорости передачи информации и пропускной способности от параметров канала и характеристик сигналов и помех. Эти вопросы были впервые глубоко исследованы Шенноном.

36. Пропускная способность канала связи. Понятие. Определение.

37. Факторы, влияющие на пропускную способность канала связи.

38. Пропускная способность дискретного канала без помех.

39. Пропускная способность непрерывного канала связи.

40. Влияние полосы пропускания непрерывного канала на пропускную способность.

Скорость передачи информации и пропускная способность дискретного канала без помех

Под дискретным каналом передачи информации принято понимать совокупность средств, предназначенных для передачи дискретных сигналов.

На вход такого канала подаются дискретные сообщения X, образующие первичный алфавит х₁ , х₂, ... , х_п. Последние кодируются с помощью преобразователя П₁ (рис. 5.1) и преобразуются в кодированные сигналы Y. Для кодирования используется некоторый алфавит символов у₁ , у₂, ... , у_т, а существо кодирования сводится к представлению отдельных сообщений или последовательностей сообщений определенными комбинациями символов используемого алфавита.

Скорость ввода информации

где Н(Х) — средняя энтропия одного сообщения; τ_x — средняя длительность сообщения; V_x = 1/τ_х скорость выдачи символов сообщения источником.

Под длительностью сообщения понимается интер­вал времени, в который по являются сообщения на выходе источника информации. Средняя длительность τ_х при отсутствии статистических зависимостей между сообщениями определяется вы­ражением

где р (Хі) и τ_Xi — априорная вероятность и длительность i-го сообщения; п— количество сообщений.

В канале без помех каждому определенному входному сигналу всегда будет соответствовать один и тот же сигнал на вмходе канала, иными словами, входные и выходные сигналы связаны однозначной функциональной зависимостью (рис. 5.5, а).

В этом случае среднее количество информации, переносимое одним символом, равно энтропии символа на входе канала І(У) = Н(У) дв.ед./символ. Скорость передачи информации

І(У) = Uy-Н(У)дв.ед./с, (5.11) где— скорость передачи элементарных символов сигнала;

τ_y— средняя длительность элементарных сигналов.

Пропускная способность дискретного канала без помех С = макс{UyН(У)}.

Полагая Uу заданной, получим, что максимальная скорость передачи информации будет обеспечена при максимальном значении энтропии кодированного сигнала

С = Uу макс [Н (Y)} = Uу log₂ n, (5.12)

т. е, при равномерном распределении вероятностей и статистической независимости символов алфавита сигналов.

Таким образом, скорость передачи информации может быть максимальной при условии, если статистические характеристики источника сообщений определенным образом согласованы со свойствами информационного канала. Для каждого источника сообщений это согласование может быть достигнуто специальным выбором способа кодирования сигналов.

На вопрос о том, в какой степени скорость передачи информации может быть приближена к пропускной способности информационного канала, отвечает теорема Шеннона для дискретного канала без помех. Теорема формулируется следующим образом: если поток информации, вырабатываемый источником, достаточно близок к пропускной способности канала, т. е. если справедливо равенство

I(Х) = С — δ, (5.13) где δ — сколь угодно малая величина, то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений, вырабатываемых источником, причем скорость передачи информации будет весьма близка к пропускной способности канала І(Z, У) = С— δ.

Обратное утверждение теоремы заключается в том, что невозможно обеспечить длительную передачу всех сообщений, если поток информации, вырабатываемый источником, превышает пропускную способность канала І(Х)>С.

Таким образом, теорема Шеннона утверждает, что при выполнении условия (5.13) скорость передачи информации может быть в принципе сколь угодно приближена к пропускной способности канала. Это может быть обеспечено соответствующим кодированием сигналов. Однако рассмотренная теорема не отвечает на вопрос, каким образом нужно осуществлять кодирование.

Скорость передачи информации и пропускная способность непрерывного канала с помехами

Под непрерывным каналом передачи информации принято понимать совокупность средств, предназначенных для передачи непрерывных сигналов. В отличие от дискретных каналов в непре-

рывных каналах вместо кодирующих и декодирующих устройств может использоваться более широкий класс различных преобразователей. Для передачи информации по каналу может применяться модуляция одного или нескольких параметров сигнала. Независимо от конкретного характера преобразования сигналов входные и выходные сигналы непрерывного канала задаются в виде ансамблей непрерывных функций с соответствующими плотностями распределения вероятностей.

Пусть на вход канала поступает непрерывный сигнал Y (t) длительностью Т. Вследствие воздействия помех ξ(t) выходной сигнал Z(t) будет отличаться от входного.

Количество информации, содержащееся в случайном сигнале Z (t) о случайном сигнале Y (t), определяется известной зависимостью

В соответствии с теоремой Котельникова, непрерывные сигналы Y (t) и Z (t) могут быть представлены совокупностями отсчетов у_і, и z_і в дискретные моменты времени (рис. 5.8), представляющих собой случайные величины.

Распределение совокупности случайных величин описывается многомерными плотностями распределения вероятности

ω(у₁ у₂.....у_т) и ω (z₁ , z₂.....z_m).

Тогда дифференциальная энтропия сигнала на выходе канала

Так как в соответствии с критерием Н. А. Железнова (3.9) при квантовании случайных сигналов по времени интервал квантования необходимо устанавливать равным интервалу корреляции функции τ₀, то случайные величины z₁, z₂, ..., z_і,, ... , z_m можно полагать независимыми и

ω (z₁, z₂.....z_т) = ω (z_l)w(z₂) ... ω (z_м).

Исходя из того, что энтропия совокупности случайных независимых величин равна сумме энтропии случайных величин, получим следующее выражение для дифференциальной энтропии сигнала:

где — дифференциальная энтропия і-го отсчета сигнала Z; т=Т/ΔТ, — общее количество отсчетов сигнала Z длительностью Т; ΔТ — интервал временного квантования. Ограничиваясь рассмотрением стационарных процессов, получим

ω (z₁) = ω (z_j) = ••• =ω(z_m);

h(z₁)=h(z₂)=...=h(z_m)= h(Z). Тогда h_Т (Z) = mh (Z), где h(Z) — дифференциальная энтропия одного отсчета.

Аналогично можно показать, что условная дифференциальная энтропия h_T(ZIY) = mh(ZIY), где h(Z/Y) — условная дифференциальная энтропия одного отсчета. Таким образом, выражение для количества информации принимает вид

I_T(Z, Y) = m[h(Z) — h(Z/Y)].

Скорость передачи информации

I_T (Z, Y) = (m/T)[h(Z) - n(Z/Y)] = F₀ [h(Z) - h(Z/Y)], (5.24) где F₀=m/T =1/ΔТ— частота временного квантования (отсчета). Пропускная способность канала

С = макс [i_T (Z, Y)} = F₀ макс [h (Z) — h (Z/Y)]. (5.25)

Максимальное значение правой части выражения (5.25) можно достичь, варьируя ω(Y), так как остальные параметры относятся к каналу связи, которые мы менять не можем.