2.2. Дискретні випадкові послідовності

В попередньому підрозділі було означено випадковий процес, дискретний у часі і за своїми значеннями - дискретна випадкова послідовність. Зауважимо, що реалізації такого процесу близькі за своїм видом до детермінованих цифрових сигналів, розглянутих у п. 1.1. Відмінність полягає лише в тому, що для детермінованих цифрових сигналів як рівні квантування, так і дискретні моменти часу розташовані як правило еквідістантно. Для реалізацій же дискретної випадкової послідовності (див. рис. 2.2) у загальному випадку відстані між сусідніми відліками та значеннями реалізацій не обов’язково одинакові. Хоча, якщо розглядати реалізації неперервних випадкових процесів (див. рис. 2.5) і виконати для них еквідістантно дискретизацію у часі і квантування значень, то ми отримаємо реалізації дискретної випадкової послідовності, які повністю співпадають за виглядом з детермінованими цифровими сигналами. Оскільки останній випадок є частинним, то далі будемо розглядати дискретні випадкові послідовності більш загального виду.

Отже, нехай маємо процес типу дискретної випадкової послідовності , і, окрім того, будемо вважати, що . В кожній точці часової вісі процес може приймати можливих значень . Звичайно, у загальному випадку у кожній точці кількість та конкретні значення процесу можуть бути різними. Але таке припущення не є обмеженням загальності розгляду, оскільки в фазовий простір процесу ми можемо включити всі різні можливі значення в часових точках , а далі вважати, що якщо деяке значення із для конкретного моменту часу відсутнє, то ймовірність появи його у цей момент часу дорівнює нулеві.

Введемо до розгляду випадкову подію , яка означає, що процес типу дискретної випадкової послідовності в момент часу набув значення . Ймовірність такої події будемо позначати так:

. (2.2)

Тоді, використовуючи позначення (2.2), для кожного моменту часу можна ввести розподіл ймовірностей

, (2.2А)

для якого виконується умова нормування, а саме, при кожному фіксованому

. (2.3)

Слід зазначити, що у загальному випадку у кожній точці ми будемо мати різні розподіли у тому розумінні, що для і при у загальному випадку і ймовірності

.

В цілому дискретна випадкова послідовність , описується набором ймовірностей, наведених у табл. 2.1.

Таблиця 2.1

			…
			…
			…
…	…	…	…	…
			…

Згідно з умовою нормування (2.3), сума ймовірностей у кожному стовпчикові табл. 2.1 дорівнює одиниці. Кожен стовпчик представляє собою одновимірний розподіл ймовірностей (2.2А) дискретної випадкової послідовності , у відповідний момент часу . На основі такого розподілу можна визначити також одновимірну функцію розподілу ймовірностей дискретної випадкової послідовності , , а саме,

,

де сума розповсюджується на всі ті індекси , для яких виконується умова .

Розподіл ймовірностей (2.2А) і функція розподілу ймовірностей рівноцінні в теоретико-ймовірнісному розумінні і дають повний опис дискретної випадкової послідовності в фіксований момент часу .

Табл. 2.1 дозволяє обчислити всі, якщо вони існують, одновимірні моментні дискретні функції, як початкові, так і центральні дискретної випадкової послідовності , .

Так, початкова моментна функція -го порядку

, (2.4)

де - оператор математичного сподівання.

Серед початкових моментних функцій найбільш відомою є моментна функція 1-го порядку , яку будемо позначати як і визначати так:

, (2.5)

яка в даному випадку носить назву математичного сподівання або середнього дискретної випадкової послідовності , .

Математичне сподівання характеризує рівень середніх значень дискретної випадкової послідовності. Оскільки під знаком суми в (2.5) значення , в залежності від виду дискретної випадкової послідовності, можуть бути як додатні, так і від’ємні, а ймовірності є лише невід’ємними, то математичне сподівання може набувати додатних, від’ємних або нульових значень. Із означення (2.5) також випливає, що фізична розмірність математичного сподівання співпадає з фізичною розмірністю дискретної випадкової послідовності.

Дискретна випадкова послідовність , , для якої

,

носить назву центрованої дискретної випадкової послідовності. Для такої послідовності математичне сподівання . На основі центрованої дискретної випадкової послідовності вводяться центральні моментні функції.

Центральна моментна функція -го порядку

. (2.6)

Серед центральних моментних функцій найбільш відомою є моментна функція 2-го порядку , яку будемо позначати як і визначати так:

,

(2 .7)

яка в даному випадку носить назву дисперсії дискретної випадкової послідовності , .

Дисперсія характеризує степінь розсіювання значень дискретної випадкової послідовності , відносно математичного сподівання . Оскільки під знаком суми в (2.7) обидва співмножники є невід’ємними, то і дисперсія може набувати лише невід’ємних значень, тобто

, .

При цьому слід зауважити, що коли , , то ми маємо справу з виродженим випадком, тобто коли розсіювання відсутнє і послідовність описується лише однією реалізацією, тобто представляє детермінований дискретний сигнал.

Із означення (2.7) випливає, що фізична розмірність дисперсії дорівнює квадрату фізичної розмірності дискретної випадкової послідовності. З цього приводу слід зробити таке зауваження. Як було сказано вище, дисперсія є мірою розсіювання значень випадкової послідовності відносно математичного сподівання. Але фізична розмірність дисперсії є квадрат розмірності математичного сподівання. Звідси виникає певна неузгодженість фізичних розмінностей величини та значення відхилення від неї. Тому на практиці за міру відхилення значень випадкової послідовності від її математичного сподівання використовують додатній корінь квадратний із дисперсії, тобто

, ,

який носить назву середньоквадратичного відхилення дискретної випадкової послідовності. Його фізична розмірність співпадає з фізичною розмірність і математичного сподівання, і випадкової дискретної послідовності.

Використовуючи поняття середньоквадратичного відхилення, можна стверджувати, що майже всі значення реалізацій дискретної випадкової послідовності , лежать в межах інтервалу

, .

Розглянемо значення дискретної випадкової послідовності , в два моменти часу, наприклад, і , де і , Тоді двовимірний розподіл задається наступним співвідношенням:

, (2.8)

тобто описується ймовірностями (див. табл. 2.2).

Таблиця 2.2

			…
			…
			…
…	…	…	…	…
			…

Оскільки дискретна випадкова послідовність задається в часових точках , то із них можна вибрати всього

пар , де . Отже для дискретної випадкової послідовності , існує всього двовимірних розподілів ймовірностей виду (2.8), або, що теж саме, таблиць, подібних до табл. 2.2.

Використовуючи двовимірний розподіл (2.8), можна задати двовимірну функцію розподілу ймовірностей дискретної випадкової послідовності , , а саме,

(2.9)

де подвійна сума розповсюджується на всі ті індекси і , для яких виконуються умови і відповідно. Кількість таких двовимірних функцій розподілу виду (2.9), як і розподілів ймовірностей (2.8), для дискретної послідовності , дорівнює .

Двовимірні розподіли (2.8) (або (2.9)) описують попарні стохастичні зв’язки, тобто, іншими словами характеризують, як впливає поява випадкової події на ймовірність появи випадкової події . При цьому можна розглядати умовні випадкові події, які позначаються так:

і умовні ймовірності

, (2.10)

де вважається, що .

Якщо обчислити умовні ймовірності (2.10) для всіх можливих значень дискретної випадкової послідовності в точці , тобто для , то отримаємо умовний розподіл послідовності ,

,

.

У тому випадку, коли значення дискретної випадкової послідовності попарно незалежні, то

і тоді на основі співвідношення (2.10) маємо

тобто, умовні ймовірності співпадають з безумовними.

Двовимірний розподіл ймовірностей (2.8) дозволяє обчислювати змішані двовимірні центральні і початкові моментні функції різних порядків дискретної випадкової послідовності , .

Початковий двовимірний момент -го порядку

, (2.11)

де . Якщо в (2.11) моменти часу і співпадають, то ми отримаємо одновимірну початкову моментну функцію -го порядку (див. формулу (2.4) при ).

На практиці найбільш широкого застосування набула змішана початкова моментна функція другого порядку

,

,

яка носить назву коваріації (коваріаційної функції) дискретної випадкової послідовності , .

Якщо коваріаційна функція при всіх значеннях і , де , то значення дискретної випадкової послідовності є ортогональними.

Центральний змішаний двовимірний момент -го порядку

(2.12)

де . Якщо в (2.12) моменти часу і співпадають, то ми отримаємо одновимірну центральну моментну функцію -го порядку (див. формулу (2.6) при ).

На практиці найбільш широкого застосування набула змішана центральна моментна функція другого порядку

(2.13)

яка носить назву кореляційної функції дискретної випадкової послідовності , . Значення кореляційної функції утворюють так звану кореляційну квадратну матрицю розміром

. (2.14)

Кожен елемент кореляційної матриці (2.14), як і функція (2.13), характеризує степінь лінійного зв’язку між значеннями дискретної випадкової послідовності у відповідні моменти часу. Більш конкретно, елемент відображає степінь лінійного зв’язку між значеннями дискретної послідовності і , де .

Матриця (2.14) є симетричною матрицею, тобто .

Якщо моменти часу і , а отже і індекси і , в формулі 9(.13) співпадають, то кореляційна функція переходить в дисперсію (див. формула (2.7). Отже елементи кореляційної матриці (2.14), що розташовані на головній її діагоналі, представляють собою значення дисперсї дискретної випадкової послідовності у моменти часу . Розділивши кожен елемент матриці (2.14) на величину

,

отримаємо нормовану кореляційну матрицю

, (2.15)

елементи якої

називають нормованими кореляційними моментними функціями, або коефіцієнтами кореляції.

Якщо коефіцієнти кореляції , а значить і кореляційні моментні функції , при всіх значеннях і , де , то значення дискретної випадкової послідовності є некорельованими. В цьому випадку нормована кореляційна матриця (2.15) буде мати наступний вигляд:

.

Протилежний цьому означенню є випадок максимальної кореляції, тобто коли модуль коефіцієнта кореляції . Це означає, що між значеннями дискретної випадкової послідовності і існує жорстка лінійна залежність, тобто

, (2.16)

де і - деякі числові коефіцієнти.

Для доведення цього твердження, враховуючи співвідношення (2.16), знайдемо кореляційний момент та коефіцієнт кореляції випадкових величин і . На основі співвідношення (2.13) для кореляційного моменту маємо

(2.17)

Зауважимо тепер, що згідно з відомими властивостями математичного сподівання та дисперсії, для випадкової величини (2.16) маємо:

(2.18)

і

.

Враховуючи означення середньоквадратичного відхилення, із останнього співвідношення маємо:

(2.19)

Далі, враховуючи (2.18) і (2.19), праву частину (2.17) запишемо так:

Таким чином, максимальне значення кореляційної моментної функції досягається при жорсткій лінійній залежності випадкових величин і (2.16) і дорівнює добутку їх середньоквадратичних відхилень. При цьому коефіцієнт кореляції

,

що й потрібно було довести.

Якщо в співвідношенні (2.16) коефіцієнт від’ємний, то будемо мати так звану від’ємну кореляцію з кореляційною моментною функцією

і

.

Між кореляційною та коваріаційною функціями існує такий зв’язок

.

Тому, якщо значення дискретної випадкової послідовності некорельовані, то коваріаційна функція

, .

Якщо значення дискретної випадкової послідовності , , як елементи послідовності дискретних випадкових величин, мають стохастичну залежність більш високого порядку, ніж попарна залежність, то одновимірних, наведених у табл. 2.1, і двовимірних (див. формула (2.8) і табл. 2.2) розподілів ймовірностей уже не достатньо для повного опису дискретної послідовності. Для цього потрібно знати -вимірні розподіли, де . Чим більша розмірність розподілу, тим повніше описуються ймовірнісні характеристики дискретної випадкової послідовності.

Найбільш повною теоретико-ймовірнісною характеристикою дискретної випадкової послідовності , є сумісний -вимірний розподіл ймовірностей

,

. (2.19)

Умова нормування для -вимірного розподілу ймовірностей (2.19) виглядає так:

.

Рівноцінною, у розумінні повноти опису, характеристикою дискретної випадкової послідовності , є також -вимірна функція розподілу ймовірностей

(2.20)

.

Якщо значення дискретної випадкової послідовності , , як випадкові величини, стохастично незалежні в сукупності, то розподіли ймовірностей, наведені в табл. 2.1., як і одновимірні функції розподілу , , повністю характеризують дискретну послідовність з теоретико-ймовірнісної точки зору. Це означає, що -вимірні розподіли можна записати як добуток одновимірних. Так, -вимірний розподіл ймовірностей дискретної випадкової послідовності ,

. (2.21)

Аналогічно, -вимірний розподіл ймовірностей для такої дискретної випадкової послідовності

. (2.22)

Співвідношення (2.21) і (2.22) означають, що вся інформація про ймовірнісні характеристики дискретної випадкової послідовності , з незалежними у сукупності значеннями міститься в одновимірних розподілах ймовірностей. І значить збільшення розмірності розподілів не додає ніякої нової теоретико-ймовірнісної інформації.

Розглянемо ще один вид стохастичної залежності значень дискретної випадкової послідовності , . Для цього розглянемо моментів часу , яким відповідають значення дискретної випадкової послідовності , . Розглянемо тепер умовну ймовірність значення дискретної випадкової послідовності відносно попередніх її значень , :

.

Якщо для такої ймовірності виконується співвідношення:

=

, (2.23)

то дискретна випадкова послідовність називається марковським процесом з дискретним часом і дискретним фазовим простором або просто дискретним ланцюгом Маркова.

Таким чином, для дискретного ланцюга Маркова ймовірність випадкової події , яка означає, що в момент часу випадкова дискретна послідовність набуде значення , залежить лише від того, якого значення набула послідовність у момент часу , і не залежить від того, що відбувалося з послідовністю в більш пізні моменти часу .

У цьому випадку фазовий простір, тобто значення дискретної випадкової послідовності , називають станами дискретного ланцюга Маркова.

Умовну ймовірність (2.23) називають перехідною ймовірністю. Така назва обумовлена тим, що вона характеризує ймовірність переходу із стану , в якому знаходиться ланцюг Маркова в момент часу , в стан в момент часу . Позначимо перехідну ймовірність так:

. (2.24)

Оскільки, в нашому випадку, дискретний ланцюг Маркова у кожен момент часу може перебувати в одному із станів , то для пари сусідніх моментів часу і існує перехідних ймовірностей виду (2.24). Їх можна записати у вигляді квадратної матриці розміром

, (2.25)

,

де індекс позначає, що розглядаються перехідні ймовірності із моменту часу в .

Оскільки дискретний ланцюг маркова, перебуваючи в момент часу в деякому стані , обов’язково повинен перейти у наступний момент часу в один із станів , то ця подія є достовірною. Тому перехідні ймовірності матриці (2.25) задовольняють умові

,

тобто сума перехідних ймовірностей по кожному рядку матриці (2.25) повинна дорівнювати 1. Окрім того, всі перехідні ймовірності в (2.25) є невід’ємними. Матриці, елементи яких задовольняють таким умовам називають стохастичними.

У зв’язку з тим, що ми розглядаємо дискретний ланцюг Маркова, який представляє собою послідовність дискретних випадкових величин , , то існує всього матриці перехідних ймовірностей виду (2.25), тобто маємо

. (2.26)

Як бачимо, послідовність матриць перехідних ймовірностей починається з індексу . Тому для повного означення дискретного ланцюга Маркова, окрім послідовності матриць (2.26), потрібно задати вектор початкових ймовірностей, тобто ймовірності перебування дискретної послідовності в момент часу в одному із можливих станів , а саме

. (2.27)

Використовуючи перехідні ймовірності, задані стохастичними матрицями (2.26), і вектор початкових ймовірностей (2.27), можна визначити -вимірний розподіл ймовірностей

=

дискретного ланцюга Маркова.

Існують узагальнення дискретних ланцюгів Маркова, так звані складні дискретні ланцюги Маркова, для яких вираз для умовної ймовірність (2.23) узагальнюється наступним чином:

=

,

де може приймати одне із значень 1, або 2, або 3, … або . Зокрема, якщо , то ми маємо випадок простого дискретного ланцюга Маркова, який був розглянутий вище.

Зупинимось коротко ще на одній різновидності стохастичної залежності значень дискретної випадкової послідовності , . В задачах обробки випадкових сигналів і, зокрема, дискретних випадкових сигналів, все більшого застосування знаходять процеси, які отримали назву мартингалів. Розглянемо їх означення стосовно дискретної випадкової послідовності.

Дискретна випадкова послідовність , називається мартингалом, якщо виконуються наступні умови:

1. Модуль математичного сподівання для всіх .

2. Для будь-яких цілих і з імовірністю 1 виконується рівність

. (2.28)

Отже для мартингала з імовірністю 1 умовне математичне сподівання дискретної послідовності в момент часу дорівнює значенню цієї послідовності у попередній момент часу .

Якщо в тих же вихідних допущеннях друга умова (2.28) набуває вигляду

,

то дискретна випадкова послідовність називається субмартингалом. В протилежному випадку, коли умовне математичне сподівання (2.28) має вид:

,

то дискретна випадкова послідовність називається супермартингалом.