Книга по ЦОС в формате pdf
.pdfЗамечание 24.1. Автором алгоритма были предложены следу• ющие значения:
α = 0.97, γ = 0.08, µmin = 0.001, µmax = 0.01.
Существует еще один вариант этого алгоритма (c одним парамет• ром), отличающийся пересчетом µm+1 в (24.3)
µm+1 = µm + αǫmǫm+1hYm, Ym+1i
•MVS LMS модифицированный LMS алгоритм с перемен• ным шагом. Для вычисления величины очередного шага использу•
ются два последних значения сигнала ошибки ǫm и ǫm−1. Пересчет вектора коэффициентов адаптивного фильтра ведется по следующей схеме
Wm+1
µm+1
pm
= Wm + µm ǫmYm,
= α µm + γ p2m, (24.4)
= β pm−1 + (1 − β) ǫmǫm−1,
где 0 < β < 1, а условия на α и γ такие же, как в (24.3).
Для этого алгоритма существует еще одна модификация для пере• счета pm в (24.4):
pm = β pm−1 + (1 − β)(ǫmǫm−1 + ǫ2m),
при этом µ0 = p0 = µmax.
25.Начальная инициализация коэффи• циентов адаптивного фильтра
Данный подход впервые опубликован в [4]. Алгоритм следующий
1. Вычисляем мгновенный спектр |
|
|
|
|||
bm = FN ( |
m) |
|
+ 1 |
|
= 2 |
|
Z |
Y |
|
, где L |
|
6 N |
s |
b2
и затем мгновенный спектр мощности Zm. Способами, предложенными для вычисления оценки корреляционной матрицы, получаем оценку спектра мощности Z. Заметим, что компоненты вектора Z представ• ляют собой оценки для собственных чисел корреляционной матрицы
Ryy .
71
2.Пусть σ2 – оценка дисперсии шума в канале. Образуем N – мерный вектор Υ, где
1
Υi = Zi + N σ2, i = 0, 1, . . . , N − 1.
3.Вычисляем начальные значения коэффициентов адаптивного фильтра
W0 = (w00, w10, . . . , wL0)
wk0 = FN−1(Υ)k, k = 0, 1, . . . , L.
26.Алгоритм последовательной регре• сии
Процесс адаптации здесь основан на минимизации среднего квадрата ошибки, т. е. целевой функции ζ = ζ(W ), определенной (21.2). Как было по• казано в разделе ”Рекурсивный метод наименьших квадратов“, для оцен• ки корреляционной матрицы Ryy используются наилучшая несмещенная оценка (21.4) или оценка с экспоненциальным окном ”забывания“(21.5). Те же методы (21.7) и (21.8) используются для оценки кросс-корреляционыого вектора входного и опорного сигналов.
Рассмотрим модификацию экспоненциального подхода. Положим
k |
|
|
|
|
|
Xl |
|
|
|
|
|
Θk = αk−lYlYlT , |
0 < α < 1. |
(26.1) |
|||
=0 |
|
|
|
|
|
Так как |
|
|
|
|
|
k |
|
− |
|
|
|
Xl |
|
|
|
|
|
αk−l = |
1 − αk+1 |
, |
|
||
=0 |
1 |
|
α |
|
|
|
|
|
|
|
|
то взвешенная оценка корреляционной матрицы Ryy на k-ой итерации име• ет вид
e |
− |
− |
k |
|
|
Xl |
|
||||
Rk = |
1 − αk+1 |
Θk = |
1 − αk+1 |
αk−lYlYlT . |
(26.2) |
|
1 α |
1 α |
=0 |
|
|
|
|
|
|
|
|
Замечание 26.1. Очевидно, что оценка (26.2) является точной, на• пример, когда наблюдаемый сигнал Yk постоянен для k > 0.
Впредельном случае, когда α стремится к 1 оценка (26.2) совпадает
снаилучшей несмещенной оценка (21.4).
72
Аналогично оценке корреляционной матрицы Ryy (26.2) можно постро• ить оценку для кросс-корреляционого вектора входного и опорного сигна• лов ryx
|
− |
k |
|
|
Xl |
(26.3) |
|
rk = 1 − αk+1 |
αk−lxlYl. |
||
e |
|
|
|
1 α |
=0 |
|
|
|
|
|
|
e
Имея оценки Rk и rek перейдем к выдоду алгоритма последовательной регресси.
Заменим в уравнении (21.10) для стационарной точки функции ζ(W ) значения корреляционной матрицы Ryy и кросс-корреляционого вектора входного и опорного сигналов ryx их оценками (26.2) и (26.3). Будем счи•
e
тать, что по оценкам Rk и rek вычисляется вектор Wk+1
R W |
|
|
r . |
|
(26.4) |
ek k+1 = |
e |
|
|
||
k |
|
|
|||
Подставляя (26.2) и (26.3) в (26.4) имеем |
|
|
|
||
|
k |
|
|
|
|
|
Xl |
|
|
|
|
ΘkWk+1 = |
|
αk−lxlYl. |
(26.5) |
||
|
=0 |
|
|
|
|
Заметим, что из (26.1) следует, что |
|
|
|
|
|
Θ = α Θ |
k−1 |
+ Y |
Y T . |
(26.6) |
|
k |
|
k |
k |
|
|
Используя (26.6) и (26.5) преобразуем (26.5)
Xk−1
ΘkWk+1 = α α(k−1)−lxlYl + xkYk = α Θk−1Wk + xkYk =
l=0
(26.7)
= (Θk − YkYkT )Wk + xkYk.
Подставляя в (26.7) выражение (20.1) для опорного сигнала xk имеем
ΘkWk+1 = (Θk − YkYkT )Wk + (ǫk + YkT Wk)Yk = ΘkWk + ǫkYk. |
(26.8) |
Умножим обе части последнего равенства9 на Θk−1. Тогда |
|
Wk+1 = Wk + ǫk Θk−1Yk. |
(26.9) |
Последнее равенство и представляет собой алгоритм последовательной ре• гресии.
9считаем, что Θk невырожденная матрица. Для того, чтобы Θk стала вырожденной необходимо существование вектора X ортогонального всей последовательности векто• ров Yl , l = 0, 1, . . . , k
73
Для работы алгоритма необходимо иметь возможность эффективно на каждой итерации вычислять Θ−k 1. Получим рекуррентное выражение для Θ−k 1. Умножим обе части (26.6) слева на Θ−k 1, а справа на Θ−k−11. Имеем
|
|
Θ−1 |
|
= α Θ−1 + Θ−1YkYkT |
Θ−1 |
. |
|
|
||||||
|
|
k−1 |
|
|
k |
k |
|
k−1 |
|
|
|
|||
Умножая последнее равенство на на Yk получаем |
|
|
|
|||||||||||
Θ−1 |
Yk = α Θ−1Yk + Θ−1YkYkT |
Θ−1 |
Yk = Θ−1Yk(α + YkT Θ−1 |
Yk). |
||||||||||
k−1 |
k |
k |
|
|
|
|
k−1 |
k |
|
|
|
k−1 |
|
|
Тогда умножая последнее равенство на YkT Θ−1 |
|
имеем |
|
|||||||||||
|
|
Θ−1 |
YkYkT Θ−1 |
k−1 |
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|||||||
|
|
k−1 |
|
|
|
k−1 |
= Θ−1YkYkT Θ−1 |
|
. |
|
||||
|
|
α + Y T Θ−1 |
|
Yk |
k |
|
k−1 |
|
|
|||||
|
|
|
|
k |
k−1 |
|
|
|
|
|
|
|
|
|
(26.10)
(26.11)
(26.12)
Выражая из (26.10) правую часть (26.12) получаем
Θk−1YkYkT Θk−−11 = Θk−−11 − α Θk−1. |
|
||||||||||||||
Тогда (26.12) преобразуется к виду |
|
|
α + YkT (Θk−11Yk) |
# |
|||||||||||
|
|
α |
" |
|
− |
|
− |
|
|||||||
|
1 |
|
|
|
|
|
(Θ−1 |
Yk)(Θ−1 |
Yk)T |
||||||
Θ−1 |
= |
|
Θ−1 |
|
|
|
|
k−1 |
k−1 |
|
|
||||
k |
|
|
|
k |
1 |
|
|
|
|
|
− |
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Вводя обозначение |
|
|
|
|
Sk = Θk−−11Yk |
|
|
||||||||
|
|
|
|
|
|
|
|||||||||
последнее выражение преобразуем к виду |
|
|
|||||||||||||
|
|
|
α |
|
|
|
− |
|
− α + YkT Sk |
|
|||||
|
Θ−1 |
= |
1 |
|
Θ−1 |
|
|
|
SkSkT |
. |
|
||||
|
k |
|
|
|
|
k |
|
1 |
|
|
|
|
|
|
|
(26.13)
(26.14)
Таким образом, получены окончательные формулы для алгоритма по• следовательной регрессии
S = Θk−−11Yk, |
|
|
|
|
γ = α + hYk, Si, |
γSST |
, |
||
Θk−1 = α Θk−−11 − |
||||
1 |
|
1 |
|
(26.15) |
Wk+1 = Wk + ǫk Θ−k 1Yk.
Замечание 26.2. Заметим, что в формулах (26.15) при переходе от одной итерации к другой нет необходимости запоминать вектор S и величину γ, поэтому индекс итерации k у них опущен.
27.Фильтр Калмана
74
Список литературы
[1]Goertzel G. An algorithm for the evaluationof finite trigonometric series
//Amer. Math Monthly. 1958. Vol.65.P.34-35
[2]Cooly J. W. Tukey J. W. An algorithm for the machine calculation of complex Fourier series // Math. Comput. 1965. Vol.19 No.90. P.297-301
[3]Залманзон Л. А. Преобразования Фурье, Уолша, Хаара и их примене• ние в управлении, связи и других областях. М.:Наука, 1989.
[4]Qureshi S. U. H. Fast start-up equalization with periodic training sequences
//IEEE Trans. Inform. Theory, vol.IT-23, pp. 553-556, September
[5]Dudlye H. Remaking Speech // J.Acoust. Soc. Am. Vol.11, 167-169.
[6]Л. Рабинер, Б. Гоулд. Теория и практика цифровой обработки сигна• лов. // М.,Мир, 1978.
[7]Б. Уидроу, С. Стирнз. Адаптивная обработка сигналов. // М.,Радио и связь, 1989.
Оглавление
1. Пространство сигналов . . . . . . . . . . . . . . . . . . . . . . 1
2.Дискретное преобразование Фурье . . . . . . . . . . . . . . . . 2
3.Теорема об отсчетах . . . . . . . . . . . . . . . . . . . . . . . . 6
4.Простейшие свойства ДПФ . . . . . . . . . . . . . . . . . . . . 7
5.Циклическая свертка . . . . . . . . . . . . . . . . . . . . . . . . 9
6. |
Линейная свертка . . . |
. . . . . . . . . . . . . . . . . . . . . . |
12 |
7. |
Циклическая корреляция |
. . . . . . . . . . . . . . . . . . . . . |
13 |
8.Оптимальные пары сигнал-фильтр . . . . . . . . . . . . . . . . 17
9.Алгоритм Витерби . . . . . . . . . . . . . . . . . . . . . . . . . 21
10. |
Алгоритм Герцеля . . . . . . . . . . . . . . . . . . . . . . |
. . . |
26 |
11. |
Рекуррентная последовательность ортогональных базисов |
. . |
28 |
12.Быстрое преобразование Фурье . . . . . . . . . . . . . . . . . . 31
13.Вейвлетные базисы . . . . . . . . . . . . . . . . . . . . . . . . . 35
14.Вейвлетный базис Хаара. Быстрое преобразование Хаара . . . 38
15.Прореживание по частоте . . . . . . . . . . . . . . . . . . . . . 41
16.Базисы Уолша. . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
75
17. |
Быстрое преобразование Уолша . . |
. . . . . . . . . . . . . . . |
47 |
18. |
Элементарная теория вероятностей |
. . . . . . . . . . . . . . . |
48 |
18.1.Основные определения . . . . . . . . . . . . . . . . . . . 48
18.2.Условные вероятности и формула Байеса . . . . . . . . 50
18.3.Случайные величины. Математическое ожидание и дис• персия . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
18.4. Схема Бернулли |
. . . . . . . . . . . . . . . . . . . . . . |
54 |
19. Вокодеры . . . . . . . |
. . . . . . . . . . . . . . . . . . . . . . . |
54 |
20.Адаптивный линейный сумматор . . . . . . . . . . . . . . . . . 57
21.Рекурсивный метод наименьших
квадратов (RLS) . . . . . . . . . . . . . . . . . . . . . . . . . . 59
22.Метод наискорейшего спуска . . . . . . . . . . . . . . . . . . . 65
23.Метод минимальной среднеквадратичной ошибки (LMS) . . . 68
24.Модификации классического LMS алгоритма . . . . . . . . . . 70
25.Начальная инициализация коэффициентов адаптивного филь• тра . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
26.Алгоритм последовательной регресии . . . . . . . . . . . . . . 72
27.Фильтр Калмана . . . . . . . . . . . . . . . . . . . . . . . . . . 74
76