3.Швидкість передачі інформації й пропускна здатність дискретних каналів з завадами

Нехай джерело генерує повідомлення

- апріорна імовірність

Оцінимо швидкість передачі інформації -вхід, -вихід

- передане повідомлення

варіанти прийнятих повідомлень.

Якщо відсутні завади, то мають місце однозначні переходи. Якщо завади присутні, то мають місце помилкові переходи.

Матриця перехідних імовірностей:

_{Завжди імовірність переходу} .

Вона показує ймовірність переходу переданого символу в прийнятий . Максимальне значення перехідних імовірностей лежить на головній діагоналі матриці – .

Кількість інформації в переданому повідомлені визначається як:

_.

Кількість інформації у прийнятому символі

.

У випадку відсутності помилок у передачі

.

Аналізуючи прийняті повідомлення, можемо побудувати матрицю апостеріорних імовірностей.

- апостеріорна імовірність.

, якщо прийнято вірно

Завжди

Ця величина визначає, яку кількість інформації необхідно ще одержати, щоб повідомлення стало вірогідним. Така кількість інформації була загублена в каналі зв'язку при передачі повідомлення .

Кількість інформації, отримана одержувачем:

Взаємна інформація - кількість переданої інформації, що міститься в при прийомі :

Нас цікавить середня кількість інформації, доставленої на вихід каналу одним прийнятим повідомленням:

- ентропія джерела, тобто середня кількість інформації, що міститься в кожному переданому символі.

- ентропія втрат, тобто середня кількість інформації, що втрачається при передачі одного символу.

- середня кількість інформації, що доставляється споживачеві при прийманні одного повідомлення.

- суміш корисного повідомлення із шумом.

- ентропія вихідного сигналу, середня кількість інформації, що міститься в одному вихідному символі (суміші сигналу з завадою).

- ентропія шуму, середня кількість інформації, що додається шумом.

,

За час одержуємо кількість інформації:

Швидкість передачі інформації:

- пропускна здатність.

Значення залежать від співвідношення сигнал/шум, способу обробки сигналу, виду сигналу, виду канального кодування й матриці перехідних імовірностей.

4.Пропускна здатність двійкового симетричного каналу зв'язку з завадами

Є й , і .

Канал називається симетричним, якщо ймовірності помилкових переходів рівні між собою.

Середня імовірність помилки

Пропускна здатність ,

.

_{Таким чином пропускна здатність}

Пропускна здатність у такому випадку залежить тільки від імовірності помилки й стає рівної нулю, якщо ймовірність помилки

Графік залежності пропускної здатності від імовірності помилки.

5.Швидкість передачі інформації неперервними каналами з завадами.

Пропускна здатність

Маємо неперервний канал зв'язку, у якому передається неперервне повідомлення (сигнал) . У цьому каналі діє аддитивна завада . У результаті на виході прийомного пристрою ми маємо суміш . Розглянемо часовий інтервал T. На ньому ми передали кількість інформації , тоді.

Будь-яке неперервне повідомлення, що існує на кінцевому інтервалі T і має обмежений спектр можна замінити сукупністю дискретних відліків.

- кількість відліків.

Швидкість передачі

.

де - диференціальна ентропія одного відліку.