20. Стационарность случайных процессов. Стационарность в широком и узком смыслах.

Стационарный случайный процесс. Случайный процесс X(t) называется стационарным, если все его вероятностные характеристики не меняются с течением времени t (так, например, распределение вероятностей величины X(t) при всех t является одним и тем же, а совместное распределение вероятностей величин X(t1) и X(t2) зависит только от продолжительности промежутка времени t2—t1, т. е. распределения пар величин {X (t1), X (t2)} и {X (t1 + s), X (t2 + s)} одинаковы при любых t1, t2 и s и т.д.).

К нестационарным случайным процессам относятся все случайные процессы, не удовлетворяющие условиям стационарности. Свойства нестационарных случайных процессов зависят от времени и могут быть установлены только путем усреднения в отдельные моменты времени по ансамблю выборочных функций.

Стационарные случайные процессы - процессы, статистические характеристики ко­торых одинаковы во всех временных сечениях. Говорят, что случайный процесс строго стационарен (или стационарен в узком смысле), если его многомерная плотность вероятности p(x₁, х₂, .... х_п , t₁, t₂, .... t_n) произвольной размерности n не изменяется при одновременном сдвиге всех вре­менных сечений t₁,t₂,t_n вдоль оси времени на одинаковую величину τ: p(x₁, х₂, .... х_п , t₁, t₂, .... t_n)= p (x₁, х₂, .... х_п , t₁+ τ, t₂+ τ,..., t_n+ τ) при любом τ.

Если же ограничить требования тем, чтобы от временного сдвига не зависели лишь одномерная и двумерная плотности вероятности, то такой случайный про­цесс будет стационарен в широком смысле. Понятно, что из стационарности в уз­ком смысле следует стационарность в широком смысле, но не наоборот.

Для стационарного случайного процесса математическое ожидание и дисперсия не зависят от времени, а корреляционная функция зависит не от самих моментов времени, а только от интервала между ними τ = t₂- t₁

R_x(t₁, t₂) = R_x(t₂ – t₁) = R_x(τ).

По этой причине при записи статистических параметров стационарного случай­ного процесса можно опускать обозначения фиксированных моментов времени: т_х, D_x, К_х(τ), R_x (τ).

21. Информационные модели сигналов. Формула Хартли.

Информация проявляется, хранится и передается от одного объекта к другому в материально - энергетической форме в виде сигналов. Сигнал – физический процесс, используемый для передачи сообщений. Сигнал формируется с помощью изменения какого-либо физического параметра. Сигнал всегда описывается как функция t. Сигналом, как материальным носителем информации, может быть любой физический процесс (электрический, магнитный, оптический, акустический и пр.), определенные параметры которого (амплитуда, частота, энергия, интенсивность и др.) однозначно отображают информационные данные (сообщения).

Формула Хартли.

Количественная мера информации. Единицу количественной меры информации - БИТ (сокращение binary digit - двоичная цифра), впервые предложил Р. Хартли в 1928 году. 1 бит - это информация о двух возможных равновероятных состояниях объекта, неопределенность выбора из двух равновероятных событий. Математически это отображается состоянием 1 или 0 одного разряда двоичной системы счисления. Количество информации Н (в битах), необходимое и достаточное для полного снятия неопределенности состояния объекта, который имеет N равновозможных состояний, измеряется как логарифм по основанию 2 из числа возможных состояний: H = log₂ N. Соответственно, двоичный числовой информационный код одного из N возможных состояний объекта занимает Н двоичных разрядов.

Свойство аддитивности: неопределенность объединенного источника равна сумме неопределенностей исходных источников, что соответствует интуитивному требованию к информации: она должна быть однозначной, а ее количество должно быть одним и тем же независимо от способа задания.

Основание логарифма не имеет принципиального значения и определяет только масштаб или единицу неопределенности.

В десятичном исчислении единицей информации является один десятичный разряд - ДИТ.