20.Потеря информации в каналах связи

Совершенно очевидно, что наличие помех приводит к потере информации. Чтобы в условиях наличия помех получить на приемнике требуемый объем информации, необходимо принимать специальные меры. Одной из таких мер является введение так называемой «избыточности» в передаваемые сообщения; при этом источник информации выдает заведомо больше символов, чем это было бы нужно при отсутствии помех. Одна из форм введения избыточности - простое повторение сообщения. Таким приемом пользуются, например, при плохой слышимости по телефону, повторяя каждое сообщение дважды. Другой общеизвестный способ повышения надежности передачи состоит в передаче слова «по буквам» - когда вместо каждой буквы передается хорошо знакомое слово (имя), начинающееся с этой буквы.Заметим, что все живые языки естественно обладают некоторой избыточностью. Эта избыточность часто помогает восстановить правильный текст «по смыслу» сообщения. Вот почему встречающиеся вообще нередко искажения отдельных букв телеграмм довольно редко приводят к действительной потере информации: обычно удается исправить искаженное слово, пользуясь одними только свойствами языка. Этого не было бы при отсутствии избыточности. Мерой избыточности языка служит величина

,            

где   - средняя фактическая энтропия, приходящаяся на один передаваемый символ (букву), рассчитанная для достаточно длинных отрывков текста, с учетом зависимости между символами,   - число применяемых символов (букв),   - максимально возможная в данных условиях энтропия на один передаваемый символ, которая была бы, если бы все символы были равновероятны и независимы.Расчеты, проведенные на материале наиболее распространенных европейских языков, показывают, что их избыточность достигает 50% и более (т. е., грубо говоря, 50% передаваемых символов являются лишними и могли бы не передаваться, если бы не опасность искажений).Однако для безошибочной передачи сведений естественная избыточность языка может оказаться как чрезмерной, так и недостаточной: все зависит от того, как велика опасность искажений («уровень помех») в канале связи.С помощью методов теории информации можно для каждого уровня помех найти нужную степень избыточности источника информации. Те же методы помогают разрабатывать специальные помехоустойчивые коды (в частности, так называемые «самокорректирующиеся» коды). Для решения этих задач нужно уметь учитывать потерю информации в канале, связанную с наличием помех.

21.Пропускная способность каналов связи.

Пропускная способность —метрическая характеристика, показывающая соотношение предельного количества проходящих единиц (информации, предметов, объёма) в единицу времени через канал, систему, узел.Пропускная способность канала.Наибольшая возможная в данном канале скорость передачи информации называется его пропускной способностью. Пропускная способность канала есть скорость передачи информации при использовании «наилучших» (оптимальных) для данного канала источника, кодера и декодера, поэтому она характеризует только канал.Пропускная способность дискретного (цифрового) канала без помех.C = log(m) бит/символ,где m — основание кода сигнала, используемого в канале. Скорость передачи информации в дискретном канале без шумов (идеальном канале) равна его пропускной способности, когда символы в канале независимы, а все m символов алфавита равновероятны (используются одинаково часто). Пропускная способность канала есть максимально достижимая для данного канала скорость передачи информации. Выражение для пропускной способности отличается тем, что характеризуется максимальной энтропией бит/сек.

Для двоичного кода бит/сек