Глава 5 інформаційні характеристики джерел повідомлень і каналів зв'язку

5.1 Загальні відомості про джерела повідомлень і канали зв'язку

У главі 1 вже були визначені такі поняття, як інформація, повідомлення, сигнал, кодування і декодування, а в главі 4 описані деякі моделі дискретних і безперервних каналів зв'язку. Тому в даному розділі ми нагадаємо лише деякі з цих визначень, які безпосередньо знадобляться нам для викладання матеріалу по теорії інформації.

Отже, формально джерело дискретних повідомлень повністю визначається алфавітом А=(а₀, а₁, …, а_К-1) використовуваних символів заданого об'єму К і розподілом вірогідностей Р(а), заданим на послідовностях а=(а₁, а₂, … , а_n), довільної довжини n, складених з символів даного алфавіту А.

Якщо джерело має фіксовану швидкість, на відміну від джерела з регульованою швидкістю, яка визначується кодером, то додатково задається швидкість джерела ν_дж як число символів, що генеруються таким джерелом за 1с. (ми тут не розглядаємо більш загальний випадок, коли тривалість різних символів відрізняється один від одного.)

Кажуть, що джерело не має пам'яті, якщо послідовно видавані ним символи взаємно незалежні один від одного. Для повного опису такого джерела достатньо задати лише розподіл вірогідності на окремих символах, тобто Р(а_i), , якщо джерело є стаціонарним, тобто розподіли Р(а) не залежать від часових зрушень.

Як простий приклад джерела повідомлень можна розглядати друкарський текст на якій-небудь мові. Тоді об'єм алфавіту К співпадатиме з об'ємом алфавіту вибраної мови (26 - для англійського, 32 - для російського), а розподіл вірогідності визначатиметься вірогідністю різних словосполучень. Очевидно, що це приклад джерела з пам'яттю, оскільки букви в будь-якій мові не слідують абияк, а підпорядковані детермінованій або імовірнісній залежності.

Формальний опис дискретного каналу зв'язку зводиться до завдання двох алфавітів на вході і виході каналу: Х=(х₀, х₁, … , х_l-1) і Y=(y₀, y₁, … y_m-1) відповідно, взагалі кажучи, різних об'ємів l і m, і умовного розподілу вірогідності , де х=(х₁, … , х_n), у=(у₁, … , у_n) – послідовності символів з відповідних алфавітів, що мають довільну, але однакову довжину n. Для каналу зв'язку також може додатково задаватися швидкість передачі ν_k як число символів, що передаються по каналу зв'язку за 1с. Канал не володіє пам'яттю, якщо символи приймаються по ньому послідовно незалежно один від одного. В цьому випадку достатньо знати умовний розподіл для повного опису такого каналу зв'язку.

Розглянемо деякі важливі окремі випадки дискретного каналу [24].

1 М -ічний симетричний канал без пам'яті і без стирання символів (тСК). Це канал із співпадаючими об'ємами вхідного і вихідного алфавітів і з умовним розподілом

(5.1)

рівність (5.1) означає, що всі символи, що передаються по такому каналу зв'язку, приймаються правильно з однаковою вірогідністю і кожен символ може перейти в будь-якій іншій, відмінний від переданого, також з однією і тією ж вірогідністю .

2 Двійковий симетричний канал без пам'яті і без стирання символів (ДСК або 2СК). Це окремий випадок тСК при т=2.

3 Двійковий по входу симетричний канал без пам'яті із стираннями символів. Це канал без пам'яті з двійковим вхідним алфавітом Х=(х₀, х₁) і трійковим вихідним алфавітом з умовним розподілом:

(5.2)

де р_с – вірогідність стирання (або вірогідність прийому ненадійного символу).

Цей приклад показує, що не обов'язково об'єми вхідного і вихідного алфавітів повинні співпадати. В даному випадку третій вихідний символ у₂ сформований «штучно» як ненадійно прийнятий символ х₀ або х₁. (При когерентному оптимальному прийомі сигналів рівної енергії рішення про нього може ухвалюватися, якщо абсолютна величина кореляційного інтеграла в (2.111) менше деякого заданого порогу).

4 Двійковий канал з аддитивним шумом. Це канал з двійковими алфавітами на вході і виході, що володіє в загальному випадку пам'яттю. Умовні розподіли в такому каналі зв'язку мають вигляд

, (5.3)

де символ – означає попарне складання по mod2 всіх елементів послідовності х і у (нагадаємо, що правила складання по mod2 мають вигляд 00=0, 01=1, 10=1, 11=0); Р(е) – розподіл вірогідності, заданий на довільних двійкових послідовностях.

рівність (5.3) означає, що перехід деякої вхідної послідовності х у вихідну у однозначно визначається так званим зразком (або вектором) помилок е, який має одиниці в тих позиціях, де х і у відрізняються, і нулі в решті позицій.

Визначимо формально кодування в дискретному каналі як однозначне відображення послідовностей, складених з символів джерела, в послідовності, складені з вхідних символів каналу зв'язку.

Декодуванням називатимемо однозначне відображення послідовностей, складених з вихідних символів каналу в послідовності, складені з символів джерела. Тут ми вважаємо, що алфавіти символів джерела і одержувача інформації співпадають.

Довжини послідовностей на вході каналу, відповідні різним послідовностям символів джерела, можуть бути, взагалі кажучи, різними. Тоді кодування називається нерівномірним.

Прикладом нерівномірного кодування може служити відомий код Морзе. Дійсно, в цьому коді букві «е» відповідає послідовність з однієї точки «.», а букві «ш» — послідовність з чотирьох тире «----». Відмітимо, що код Морзе – це кодування не з двійковим вхідним алфавітом (крапка і тире), як може показатися на перший погляд, а з трійковим алфавітом: крапка, тире і пропуск.

Якщо довжини всіх послідовностей однакові, то кодування називається рівномірним. Легко визначити першу функцію кодування і декодування. Вона полягає в тому, щоб узгоджувати алфавіт джерела повідомлень з алфавітом входу каналу і відповідно алфавіт виходу каналу з алфавітом джерела одержувача повідомлень. Таке узгодження дійсно забезпечує принципову можливість передавати послідовність символів джерела повідомлень до одержувача через дискретний канал зв'язку.

Проте довільно вибране «узгодження» (кодування-декодування) не гарантує ще надійної і швидкої передачі таких повідомлень.

Одна з проблем передавання інформації якраз і полягає в тому, щоб знайти потенційні можливості кодування і декодування (за відсутності обмежень на їх складність), коли інформація може бути передана з скільки завгодно високою вірністю при максимально можливій швидкості її передачі від джерела до одержувача.

У главі приводяться регулярні способи кодування-декодування сигналів з урахуванням складності їх реалізації на практиці. Для формулювання і доведення теорем кодування теорії інформації нам потрібно буде викласти деякі нові поняття, які мають і самостійне значення.