Добавил:

karavashkinaviydetzamenya Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Московский технический университет связи и информатики

Предмет:

Основы теории информации

Файл:

LEKTsIYa_7

.pdf

Скачиваний:

Добавлен:

22.04.2024

Размер:

653.05 Кб

Скачать

☆

i 1,2,...p

ЛЕКЦИЯ № 7.

4.4.Дифференциальная ИКМ (ДИКМ).

ВИКМ каждый отсчет кодируется независимо от других. Но у многих

источников сигнала при дискретизации через	t	1	или чаще проявляется

		2Fв

значительная корреляция между отсчетами. В ДИКМ кодируется разность между отсчетами сигнала, а не сами отсчеты. Т.к. разность между отсчетами сигнала меньше, чем значения отсчетов, то нужно меньшее число бит для представления разностного сигнала. Суть подхода состоит в следующем.

Предсказывается текущее значение отсчет на основе предыдущих p отсчетов:

p	(4.10)
xk ak xk i	(4.10)
ˆ
i 1
Здесь xk - предсказанное значение для текущего отсчета	xk , k 1,2,.... -
ˆ

дискретное время, ai - коэффициенты предсказания, которые находятся по критерию минимума средней квадратической ошибки (СКО):

	a , i 1,2,...p arg min( M{e2					}) ,		(4.11)
	i				k
	p	p				p	p
где M{ek2 } M{xk	ai xk 1}2	M{xk }2 2 ai M{xk xk i } ai a j M{xk i xk j } ,						M{ } -
	i 1	i 1				i 1	j 1
оператор математического ожидания,			e	k	- ошибка предсказания, M{e }2				-
				k				k

дисперсия ошибки предсказания.

Пусть выход источника - стационарный случайный процесс с корреляционной функцией Rx ( ) , где k n - разность между двумя дискретными моментами времени. Тогда

p	p	p
M{ek }2 Rx (0) 2 ai Rx	(i) ai a j Rx (i j) .
i 1	i 1	j 1

Если корреляционная функция Rx ( ) неизвестна, то ее можно оценить по отсчетам сигнала:

ˆ		1	N
Rx	( )		xk xk .	(4.12)
Rx	( )	N	xk xk .	(4.12)
		N	k 1

Далее минимизируя дисперсию ошибки предсказания (см. критерий (4.11)), по коэффициентам ai , , получим систему линейных уравнений:

p
ai Rx (i j) Rx ( j), j 1,2,...p	(4.13)

i 1

Уравнения (4.13) для коэффициентов предсказания называют нормальными уравнениями или уравнениями Юли-Волкера. Алгоритм их эффективного решения разработан Левинсоном (1974 г.) и Дурбиным (1959 г.).

Блок-схема кодера ДИКМ.

x(t)		xk	ek	~		к передатчику
x(t)		xk	ek		ek	к передатчику
	Дискрети-			Квантова-
	затор			тель
	затор			тель

~ˆ	~
xk		xk

Предсказатель

~ˆ

xk xk k ,

ek xk xk

xk ai xk i

ek ek ek (xk xk ) ek xk xk

i 1

~ˆ

, k

- ошибка квантования.

где xk xk

Описание схемы. Квантованный отсчет

является входом предсказателя,

выход

предсказателя

– предсказанный

на

следуюший

шаг

квантованный

~ˆ

отсчет

вход

ai xk i .

Разность ek xk xk

квантователя, ek - выход

i 1

квантователя.

Величина

квантованной

ошибки

кодируется

последовательностью двоичных символов и передается через канал связи.

Блок-схема декодера ДИКМ.

~	~			xˆ(t)
ek		xk	ФНЧ	xˆ(t)
			ФНЧ



~ˆ	Предсказа-
	Предсказа-
	тель

xk

Квантованный отсчет представляет собой сумму квантованной ошибки и

предсказанного квантованного отсчета:	~	~ˆ	~	~
предсказанного квантованного отсчета:	xk	xk	ek . Далее по полученным	xk

восстанавливается сигнал x(t) xˆ(t) .

4.5 Дельта-модуляция (ДМ).

ДМ можно рассматривать как простейшую форму ДИКМ, в котором используется двухуровневый (1-битовый) квантователь и фиксированный

предсказатель первого порядка ( p 1, a1					1):
		~ˆ	~	,
		xk	xk 1	,							(4.14)
		~	~ˆ	~							(4.14)
		~	~ˆ	~
		xk 1 xk 1 ek 1
~	ek 1	~		~ˆ	~	~ˆ	xk 1	~	xk 1	~ˆ	xk 1 , то
Так как k 1 ek 1	ek 1	ek 1 (xk 1		xk 1 ) ek 1		xk 1	xk 1	xk 1	xk 1	xk	xk 1 , то

~ˆ	xk 1 k 1 . Т.о. предсказанное значение
xk

отсчета и шума квантования.

~ˆ является суммой предыдущего

Блок-схема кодера ДМ.

x(t)		xk	ek	~		1	к передатчику
x(t)		xk	ek		ek	1	к передатчику
	Дискрети-			Квантова-
	затор			тель
	затор			тель

~ˆ	~
xk		xk

Единичная

задержка

Z 1

Блок-схема декодера ДМ.

~		~			xˆ(t)
~		~		ФНЧ
ek			xk	ФНЧ



~ˆ	~	Z 1


xk	xk 1
xk	xk 1

4.6 Адаптивные ИКМ и ДИКМ.

Многие реальные источники квазистационарны, т.е.	2	f (t), R (t	, t	)	-
	x	x i	j

медленно меняющиеся функции времени. Поэтому необходимо адаптировать характеристики кодеров к меняющейся со временем статистике источника. Можно использовать равномерный квантователь, который меняет величину шага квантования в соответствии с дисперсией последних отсчетов. Т.е.

ихмеряется дисперсия процесса ˆ 2	по x	k 1	, а далее устанавливается размер
x		k 1

шага. Самый простой алгоритм для установки шага использует только предыдущий отсчет сигнала. Предложен Джайантом в 1974 году при кодировании речи: k 1 k (k ), (k ) - множитель, зависящий от уровня

квантованного отсчета ~k , k 1 - шаг квантования в k 1 -й момент времени.

Предсказатель в ДИКМ тоже можно сделать адаптивным. В этом случае

			ˆ
уравнения (4.13) справедливы для краткосрочной оценки Rx (i) , подставленной
вместо	Rx (i) .	Далее вычисленные коэффициенты	ai , i 1,2,..., p	вместе	с
ошибкой	~	передаются приемнику, который	использует	такой	же
	ek
предсказатель. Передача коэффициентов ai , i 1,2,..., p			приводит к увеличению

необходимой битовой скорости, что частично компенсирует снижение скорости, достигнутое с помощью квантователя с малым количеством уровней для уменьшения динамического диапазона ошибки ek . Чтобы этого избежать, приемник может вычислить собственные коэффициенты предсказания через

~	~
ek	, xk :
	~	~	p	~
	~	~		~
	xk	ek	ai xk i .

i 1

Если пренебречь шумом квантования k ,

для оценки корреляционной функции ˆ

Rx (i)

коэффициенты предсказания.

то ~ и их можно использовать

xk xk

в приемнике и далее по (4.13) найти

4.7 Мера информации непрерывного источника.

Н.И в последовательные моменты времени tk , k 1,2,...., n вырабатывает сообщения xk . Случайный вектор (x1.....xn ) характеризуется многомерной функцией плотности распределения вероятности wn (x1 ,...., xn , t1 ,...., tn ) . Если величины xk независимы и процесс на выходе Н.И стационарный, то источник описывается одномерной ФПВ w(x) . Марковский Н.И характеризуется следующей ФПВ : w(xk , xk 1 ) w(xk 1 )w(xk / xk 1 ) . Формулы для энтропии

непрерывного источника получаются путем обобщения формул для энтропии Д.И.

Пусть Н.И вырабатывает сообщение x(t) . Переходя от непрерывно процесса к

дискретному путем процедур дискретизации и квантования, получим:					~
					xk l ,
где l 0, 1, 2,...,	- шаг квантования,		~	- квантованный	отсчет,
			xk
	~		Предположим, что источник
появляющийся с вероятностью pl P{xk l }.
	~	) .
описывается одномерной ФПВ. Тогда pl w(xk

w(x)

Тогда на основе формулы (2.4) получим:

H (x, ) pl

log 2 ( pl ) pl

log 2

)) pl

log 2 ( )

log 2 (w(xk ) ) pl

(w(xk

( ) ,

т.к.

1. Переходя

к пределу при

0 ,

w(xk ) log 2

(w(xk )) log 2

получим

H (x) w(x) log 2

(x)dx lim log

2 ( ) .

Первое слагаемое – дифференциальная энтропия, второе – величина бесконечно большая (конечна она только при конечном интервале

квантования ), она часто исключается из рассмотрения,	т.к. при передаче
сообщения по каналу связи важна дифференциальная энтропия

Hd (x) w(x) log 2 (x)dx	(4.15)

Пределы интегрирования определяются диапазоном изменения сообщения x(t) .

Свойства дифференциальной энтропии.

1)H d ( x) зависит от системы измерения величины x , H d ( x) .

2)H d ( x a) H d (x) , где a const , т.е. дифференциальная энтропия

центрированного случайного процесса (t) mx равна дифференциальной энтропии процесса (t) .

	1		( x mx )2
	1			2
3) H d (x) H d max , если ФПВ источника гауссовская: w(x)		e		2 x	, т.е.

	2 x
	2 x

если x(t) - гауссовский стационарный случайный процесс.

H d max	1	log	2 (2 e x2 )	(4.16)
	2

4) Дифференциальная энтропия совместного наступления событий x1 ,..., xn определяется по формуле

	n
	H d (x1 ,...., xn ) H d (xk )
	k 1
5) Если сообщения	xk , xk 1 зависимы, то вводится условная энтропия

H (xk	/ xk 1 ) w(xk , xk 1 ) log 2 (w(xk / xk 1 )dxk dxk 1 .	(4.17)

Тогда совместная дифференциальная энтропия определяется по формуле

H d (xk , xk 1 ) H d (xk 1 ) H (xk / xk 1 )

(4.18)

Производительность, информационная насыщенность и избыточность находятся по формулам аналогичным формулам (2.9), (2.10), (2.11).

Соседние файлы в предмете Основы теории информации

#
22.04.2024655.35 Кб0LEKTsIYa_2.pdf
#
22.04.2024581.52 Кб0LEKTsIYa_3.pdf
#
22.04.2024582.9 Кб0LEKTsIYa_4.pdf
#
22.04.2024559.38 Кб0LEKTsIYa_5.pdf
#
22.04.2024824.18 Кб0LEKTsIYa_6.pdf
#
22.04.2024653.05 Кб0LEKTsIYa_7.pdf
#
22.04.2024615.51 Кб0LEKTsIYa_8.pdf
#
22.04.2024681.75 Кб0LEKTsIYa_9.pdf