(по цифровому вещанию) Dvorkovich_V_Cifrovye_videoinformacionnye_sistemy
.pdf
Глава 3. Цифровое представление видеоинформации
яркости и пр. Компоненты низких пространственных частот связаны с медленными и плавными изменениями яркости.
Очевидно, можно выбрать некоторые граничные пространственные частоты Fx и Fy , исходя из того критерия, что пространственные частоты выше граничных уже ничего не добавляют к качеству изображения, поскольку игнорируются зрительным анализатором человека. Наличие в сигнале пространственных частот выше граничной уже не приводит к повышению визуальной четкости воспроизводимого изображения, а следовательно, эти составляющие сигнала можно отбросить.
Тогда изображение ˆ , в общем случае отличающееся от , пред-
B(x, y) B(x, y)
ставимо конечным числом пространственных частот:
|
M |
N |
|
Bˆ(x, y) = |
cmn · Φmn(x, y), |
(3.15) |
|
m=−M n=−N
и спектральные компоненты ограничены частотами:
|fx| < 2N + 1 = Fx,
2X
|fy | < 2M + 1 = Fy ,
2Y
а количество ненулевых коэффициентов cmn равно NS = (2M + 1)(2N + 1). При этом ограниченное число коэффициентов Фурье cmn можно рассчитать,
используя NS дискретных значений ограниченного по спектру изображения B(x, y), поскольку для каждого пиксела с координатами (xk, yk) можно записать:
M |
N |
|
|
|
|
ˆ |
cmn · Φmn(xk, yk). |
(3.16) |
B(xk, yk) = |
||
m=−M n=−N
Это и есть разложение элемента изображения на пространственные частоты с помощью двумерного преобразования Фурье.
Если пикселы выбраны таким образом, что NS этих уравнений линейно независимы, то их можно решить относительно NS неизвестных коэффициентов, не прибегая к вычислению интегралов.
Такое множество дискретных точек состоит из прямоугольного массива с Nx = 2N + 1 столбцов и Ny = 2M + 1 строк.
В этом случае NS = Nx × Ny и для |m|, |k| M ; |n|, |l| N можно показать, что
|
|
NX −1 NY −1 |
|
|
Ns |
|
||||
|
|
j |
|
|
|
|
|
|||
|
|
i=0 |
=0 |
Φmn(xi, yj ) · Φkl(xi, yj ) = XY · δmk · δnl, |
(3.17) |
|||||
|
|
|
|
|
|
|
|
|||
|
X |
|
Y |
|
|
|
|
|
||
где xi = |
|
· i, yj = |
|
· j. Отсюда вытекает, что |
|
|||||
Nx |
Ny |
|
||||||||
|
|
|
|
|
XY |
NX −1 NY −1 |
|
|||
|
|
|
|
|
|
i |
|
|
|
|
|
|
cmn = |
Ns |
· |
Bˆ(xi, yj ) · Φmn(xi, yj ). |
(3.18) |
||||
|
|
|
|
|
|
=0 |
j=0 |
|
||
В этом и состоит суть теоремы отсчетов, необходимая плотность которых должна немного превышать удвоенные граничные пространственные частоты [1.37]:
Dx = |
2N + 1 |
= 2Fx, Dy = |
2M + 1 |
= 2Fy . |
|
X |
Y |
||||
|
|
|
3.2. Фурье-преобразование, теорема о дискретизации
Рис. 3.5. Двумерная функция отсчетов
При этом такие дискретные отсчеты полностью определяют ограниченное по
спектру изображение ˆ в любых его точках.
B(x, y)
Можно показать, что значение интенсивности ограниченного по спектру изображения в любой его точке с координатами (x, y) определяется взвешенной суммой отсчетов:
2N 2M |
|
|
|
|
|
|
|
|
|
|
||
ˆ |
|
ˆ |
|
|
|
|
|
|
− yj ), |
(3.19) |
||
B(x, y) = |
|
B(xi, yj ) · χ(x − xi, y |
||||||||||
=0 j=0 |
|
|
|
|
|
|
|
|
|
|
||
i |
|
|
|
|
|
|
|
|
|
|
|
|
где |
|
|
|
|
|
|
|
|
|
|
|
|
|
sin π |
(2N +1)u |
|
· sin π |
(2M+1)v |
|
|
|
||||
χ(u, v) = |
X |
|
|
Y |
|
— |
|
|||||
|
|
|
u |
· sin π |
v |
|
|
|
||||
|
|
Ns · sin π |
|
|
|
|
||||||
|
|
X |
Y |
|
|
|
||||||
так называемая функция отсчетов, имеющая максимум в точке u = 0, v = 0 и быстро спадающая по мере удаления от нее.
Эта функция приведена на рис. 3.5. С ее помощью обеспечивается точная интерполяция изображений, строго ограниченных по спектру.
Приведенные выше выражения представляют собой аналог теоремы Котельникова [1.70] для двумерного сигнала. Заметим, что функция χ(u, v) очень похо-
жа на двумерную sinc-функцию (sinc (z) = sin πz ), за исключением того, что она
πz
периодична по u и v с периодами X и Y соответственно.
Префильтрация изображения фильтром с импульсной характеристикой χ(u, v) обеспечивает удаление частот выше определенного заданного предела.
Фильтрация изображения имеет одно важное отличие от фильтрации бесконечной одномерной функции времени. Для ограниченного в пространстве изображения непрерывность резко нарушается на краях.
Это нарушение часто приводит к росту высокочастотных компонент, которые не имеют отношения к информации, содержащейся в изображении.
При попытке отфильтровать эти частоты появляются сильные искажения на границах (так называемый эффект Гиббса).
В качестве примера на рис. 3.6 приведено изображение без программного ограничения спектра (а) и с резким его ограничением (б). Там же приведена разность яркостей этих двух изображений (в). Как видно, при ограничении спектра наиболее заметны искажения колебательного характера на границах изображения.
Глава 3. Цифровое представление видеоинформации
Рис. 3.6. Эффект Гиббса при резком ограничении спектра изображения
Изменяющееся во времени изображение можно представить в виде трехмерной функции B(x, y, t), которая для временного интервала 0 t T может быть записана следующим образом [1.37]:
|
|
∞ |
|
|
|
|
|
|
|
|
|
|
|
−∞ |
· Φmnp(x, y, t), |
(3.20) |
|||||||
B(x, y) = |
|
cmnp |
|||||||||
m,n,p= |
|
|
|
|
|
|
|
|
|||
где |
|
|
|
|
|
|
|
|
|
||
|
√ |
1 |
· exp 2πi ( |
nx |
|
my |
|
pt |
|||
Φmnp(x, y, t) = |
|
|
+ |
|
+ |
|
), |
||||
|
X |
Y |
T |
||||||||
XY T |
|||||||||||
|
|
|
|
|
|
|
|
|
|
||
T Y X
cmp = B(x, y, t) · Φmnp(x, y, t) dxdy dt,
0 0 0
p/T — временная частота.
Если после префильтрации p/T меньше некоторой величины W (Гц), то по аналогии с вышеизложенным изображение можно продискретизировать во времени с частотой 2W Гц. Для человеческого глаза граница этой частоты 10–15 Гц обычно вполне достаточна [1.8, 1.9].
При этом движущееся изображение в последовательности кадров представляет собой дискретные мгновенно зафиксированные статические изображения, как показано на рис. 3.7.
Практически временная префильтрация осуществляется в самом датчике, поскольку большинство датчиков до дискретизации просто накапливает световую энергию за время экспозиции TI .
3.3. Изображение, изменяющееся во времени
Рис. 3.7. Дискретная последовательность кадров
Это обеспечивает ослабление каждой временной частотной компоненты на sinc(ft · TI ), где ft (в герцах) — временная частота.
Следует заметить, что если время интегрирования TI очень мало, то временная префильтрация неэффективна и возможно возникновение строб-эффекта, вызывающего, например, иллюзорное вращение колес назад и движение рывками.
Однако даже если TI равно периоду между кадрами TF , ослабление на половинной частоте дискретизации ft = 1/2 · TF составляет только 4 дБ, что недостаточно для устранения указанного выше эффекта согласно теореме о дискретизации.
В телевизионной камере префильтрованное указанным образом изображение (TI = TF ) сканируется по растру, и дискретизация производится над одномер-
ˆ ˆ
ным сигналом B(t) = B(xt, yt, t). Таким образом, между дискретизацией точек вверху и внизу растра проходит некоторое время, равное длительности кадра (поля). Это приводит к определенному искажению формы больших движущихся объектов, если рассматривать один кадр. Однако форма быстродвижущихся объектов также нарушается (точнее, «расплывается») при временной фильтрации. Восстановление изображения требует интерполяции или постфильтрации. Однако временная постфильтрация из-за аппаратных сложностей осуществляется не аппаратурой, а человеческим глазом.
Следует отметить, что эффективность такой интерполяции изображений между кадрами зависит от окружающего освещения: чем ярче дисплей, тем выше заметность мерцания из-за недостаточной временной постфильтрации глазом.
Глава 3. Цифровое представление видеоинформации
Как было отмечено, для большинства движущихся изображений временные частоты редко превышают 10–15 Гц. Именно по этой причине в кинокамерах смена кадров осуществляется с частотой 24 Гц. Однако для того, чтобы не было мерцаний, проектор производит смену кадров с частотой 48 или 72 Гц, что достигается путем показа каждого кадра 2 или 3 раза.
В телевидении эта технология до сих пор не использовалась, поскольку в приемнике требовалось хранить достаточно большой объем информации.
Вместо этого используется следующее свойство глаза: временная постфильтрация осуществляется глазом значительно более эффективно для мелких деталей изображения, т. е. высоких пространственных частот, чем для более крупных деталей изображения, т. е. более низких пространственных частот.
Таким образом, эффективность фильтрации может быть достигнута, если низкие пространственные частоты записываются в видеокамере и воспроизводятся ТВ-приемником с частотой 50–60 Гц, а высокие пространственные частоты — лишь с частотой 25–30 Гц.
Это как раз и достигается использованием чересстрочной развертки (2:1). Однако ее использование приводит к следующим дефектам:
–мерцанию строк при воспроизведении высоких вертикальных пространственных частот;
–искажению формы объектов при их движении в горизонтальном направлении.
-
Одним из основных шагов при получении представления визуальной информации потоком с конечной битовой скоростью является превращение каждого значения элемента изображения в двоичное слово конечной длины, т. е. создание кода.
В процессе квантования отсчет аналогового сигнала сравнивается с набором пороговых уровней. Если отсчет попадает в определенный амплитудный интервал, то ему приписывается значение фиксированного уровня квантования, соответствующего данному интервалу. В цифровой системе каждому квантованному отсчету ставится в соответствие двоичная кодовая комбинация.
Уровни и коды квантования могут изменяться в зависимости от обстоятельств. Например, неэффективно квантовать и кодировать все коэффициенты Фурьеизображения по одному правилу.
Квантование аналоговых величин приводит к потере части информации. Важным вопросом является рациональный выбор пороговых уровней и уровней квантования, обеспечивающий минимальную погрешность процедуры восстановления, определенную выбранным критерием.
При решении задачи о квантовании аналоговой величины u, изменяющейся в пределах от UH до UK , необходимо выбрать такой набор пороговых уровней dj и уровней rj , что если
dj u < dj+1,
то исходное значение u заменяется на число rj [1.37, 1.39, 1.47].
3.4. Квантование. Импульсно-кодовая модуляция
Рис. 3.8. Изображение при различном числе уровней квантования и пример размещения пороговых уровней и уровней квантования
На рис. 3.8 приведен пример размещения пороговых уровней и уровней квантования на отрезке числовой оси, содержащей J пороговых уровней.
Уровни квантования и пороговые уровни выбираются так, чтобы уменьшить до минимума некоторую заданную величину, характеризующую ошибку квантования, т. е. степень различия между u и ее квантованной величиной uˆ, равной соответствующему уровню квантования. В качестве меры ошибки зачастую выбирают среднеквадратичную ошибку:
e = |
|
(u − uˆ)2p(u) du = |
j=0 |
|
(u − rj )2p(u) du, |
(3.21) |
|
UK |
J−1 |
dj+1 |
|
||
|
UH |
|
dj |
|
|
|
где p(u) — плотность распределения случайной величины u.
Если число уровней квантования велико, то положения пороговых уровней и уровней квантования достаточно точно определяются по формуле [1.37, 1.39, 1.64]:
Глава 3. Цифровое представление видеоинформации
|
|
|
|
|
|
|
|
UK |
|
du |
|
|
|
||
|
|
|
|
(U |
U |
|
) |
UH |
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
dj = |
|
K − H |
|
√3 |
p(u) |
+ UH , |
(3.22) |
|||||
|
|
|
|
UK |
du |
|
|
|
|
||||||
|
|
|
|
|
UH |
|
|
|
|
|
|
|
|
||
|
|
|
|
|
√3 |
|
|
|
|
|
|
|
|
||
|
|
|
|
|
p(u) |
|
|
|
|
|
|
|
|||
где uj = |
j(UK −UH ) |
+ UH , j = 0, 1 , . . . , J; rj = |
dj+1−dj |
, j = 0, 1 , . . . , J − 1. Если же |
|||||||||||
J |
|
|
2 |
|
|||||||||||
число уровней квантования невелико, то применяется более сложный алгоритм вычисления величины dj и rj , называемый алгоритмом Макса или Ллойда–Макса [1.64, 1.71]. При этом для заданной плотности вероятностей p(u) оптимальные значения пороговых уровней и уровней квантования можно найти путем решения рекуррентным способом системы уравнений:
|
r |
|
2d |
r |
j−1 |
; |
|
|
r |
j = d |
j |
− |
. |
|
|||
= |
|
|
|
|
|
|||
|
|
|
|
j+1 |
|
|
|
|
|
|
|
|
R |
u p(u) du |
|
||
|
|
|
dj |
· |
|
|
(3.23) |
|
|
|
|
|
dj |
|
|
|
|
|
j |
|
dj+1 |
|
|
|
||
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
R |
p(u) du |
|
|
|
|
|
|
|
|
|
|||
При этом среднеквадратическая ошибка квантования становится минимальной:
emin = |
J−1 |
dj+1u2p(u) du |
|
rj |
|
|
dj |
− |
|
|
|
|
|
|
|
j=0 |
|
|
dj+1
p(u) du . (3.24)
dj
В табл. 3.1 приведены расположения только положительных пороговых уровней и уровней квантования (dj и rj , j = 0, 1, . . . ) в квантователях Ллойда–Макса для плотностей равномерного распределения вероятностей в пределах [−1, 1], а также распределений Гаусса и Лапласа:
|
p(u) = σ√2π exp −2σ2 |
, |
|
(3.25) |
|||||||||||
|
|
|
1 |
|
|
|
|
|
u2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
−| |σ |
|
|
|
|
|
|||
|
p(u) = σ√2 exp |
|
|
|
(3.26) |
||||||||||
|
. |
|
|||||||||||||
|
|
|
1 |
|
|
|
|
|
u √2 |
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
||||
Таблица 3.1. Пороговые уровни и уровни квантования Ллойда–Макса |
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|||||||
Число пороговых |
Равномерное |
|
Распределение |
Распределение |
|
||||||||||
распределение |
|
|
|
Гаусса |
Лапласа |
|
|||||||||
уровней |
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
dj |
|
rj |
|
dj |
|
rj |
dj |
rj |
|
|||||
|
0,0000 |
|
|
|
|
|
|
0,0000 |
|
|
0,0000 |
|
|
||
3 |
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
0,5000 |
|
|
|
|
|
0,7979 |
|
0,7071 |
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
1,0000 |
|
|
|
|
|
|
∞ |
|
|
∞ |
|
|
||
|
0,0000 |
|
|
|
|
|
|
0,0000 |
|
|
0,0000 |
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
0,2500 |
|
|
|
|
|
0,4528 |
|
0,4198 |
|
|||
5 |
|
|
|
|
|
|
|
|
|
|
|
|
|
||
0,5000 |
|
|
|
|
|
|
0,9816 |
|
|
1,1269 |
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
0,7500 |
|
|
|
|
|
1,5104 |
|
1,8340 |
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
1,0000 |
|
|
|
|
|
|
∞ |
|
|
∞ |
|
|
||
3.4. Квантование. Импульсно-кодовая модуляция
Таблица 3.1 (окончание)
|
0,0000 |
|
0,0000 |
|
0,0000 |
|
|
|
|
|
|
|
|
|
|
0,1250 |
|
0,2451 |
|
0,2334 |
|
0,2500 |
|
0,5005 |
|
0,5332 |
|
7 |
|
0,3750 |
|
0,7560 |
|
0,8330 |
|
|
|
|
|
|
|
0,5000 |
|
1,050 |
|
1,2527 |
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
0,6250 |
|
1,3439 |
|
1,6725 |
|
|
|
|
|
|
|
|
0,7500 |
|
1,7479 |
|
2,3796 |
|
|
|
|
|
|
|
|
|
|
0,8750 |
|
2,1519 |
|
3,0867 |
|
|
|
|
|
|
|
|
1,0000 |
|
∞ |
|
∞ |
|
|
0,0000 |
|
0,0000 |
|
0,0000 |
|
|
|
|
|
|
|
|
|
|
0,0625 |
|
0,1284 |
|
0,1240 |
|
|
|
|
|
|
|
|
0,1250 |
|
0,2582 |
|
0,2644 |
|
|
|
|
|
|
|
|
|
|
0,1875 |
|
0,3880 |
|
0,4048 |
|
0,2500 |
|
0,5224 |
|
0,5667 |
|
|
|
0,3125 |
|
0,6568 |
|
0,7287 |
|
|
|
|
|
|
|
|
0,3750 |
|
0,7995 |
|
0,9198 |
|
|
|
|
|
|
|
|
9 |
|
0,4375 |
|
0,9423 |
|
1,1110 |
|
|
|
|
|
|
|
|
0,5000 |
|
1,0993 |
|
1,3444 |
|
|
|
|
|
|
|
|
|
|
0,5625 |
|
1,2562 |
|
1,5778 |
|
|
|
|
|
|
|
|
0,6250 |
|
1,4371 |
|
1,8776 |
|
|
|
|
|
|
|
|
|
|
0,6875 |
|
1,6180 |
|
2,1773 |
|
0,7500 |
|
1,8435 |
|
2,5971 |
|
|
|
0,8125 |
|
2,0690 |
|
3,0169 |
|
|
|
|
|
|
|
|
0,8750 |
|
2,4008 |
|
3,7240 |
|
|
|
|
|
|
|
|
|
|
0,9375 |
|
2,7326 |
|
4,4311 |
|
|
|
|
|
|
|
|
1,0000 |
|
∞ |
|
∞ |
|
Отрицательные пороговые уровни и уровни квантования соответственно равны:
d−j = −dj и r−j = −rj , j = 0, 1, . . . .
В системе обработки сигналов яркости телевизионных изображений с применением импульсно-кодовой модуляции (ИКМ) каждый отсчет обычно квантуется на основе линейной шкалы, и ему ставится в соответствие двоичная кодовая комбинация.
При кодировании непосредственно яркостного сигнала применяют равномерный код, и поэтому число уровней квантования пикселов определяется соотношением [1.36, 1.37, 1.39]: J = 2B , где B — число двоичных разрядов (битов), отведенных для кодирования отсчетов.
Замена исходных пикселов квантованными приближениями приводит к ошибкам восстановленного изображения, которые проявляются в виде случайного шума или «снега». В большинстве приложений этот шум практически не виден при 8-битовом квантовании, при снижении числа битов заметность шума увеличивается (см. рис. 3.8).
Следует отметить, что заметность шума ИКМ-квантования сильно зависит от того, как много шума в исходном изображении до квантования. Большинство приложений требуют, чтобы шум квантования был малым по сравнению с шумом исходного изображения.
Глава 3. Цифровое представление видеоинформации
В системах с ИКМ сокращение цифрового потока может быть осуществлено простым уменьшением числа разрядов в кодовых комбинациях.
При субъективной оценке качества воспроизводимых изображений число разрядов B понижают до тех пор, пока эффекты, вызванные квантованием, не выйдут за границы допустимого. Глаз способен определить от 10 до 15 градаций абсолютного значения светлоты, но имеет гораздо большую чувствительность к различию светлоты соседних элементов изображения [1.64, 1.45].
При уменьшении числа уровней квантования прежде всего бросается в глаза эффект появления контуров в тех областях, где светлота исходного изображения изменяется плавно (см. рис. 3.8). Появление контуров вызывается скачкообразным изменением светлоты квантованного изображения при переходе от одного уровня квантования к другому.
Наименьшее число разрядов ИКМ, позволяющее предотвратить появление контуров в областях с плавным изменением светлоты, как было указано, зависит от ряда факторов, в том числе от линейности характеристики дисплея и свойств шума до и после преобразования изображения в видеосигнал.
1.1.Цифровая обработка телевизионных и компьютерных изображений / Под ред. Ю.Б. Зубарева и В.П. Дворковича. 2-е изд., перераб. и доп. М.: НАТ, 1997.
1.2.Кривошеев М.И. Международная стандартизация цифрового телевизионного вещания. М.: НИИР, 2006
1.3.Зубарев Ю.Б., Кривошеев М.И., Красносельский И.Н. Цифровое телевизионное вещание. Основы. Методы. Системы. М.: Мир, 2001
1.4.Синепол В.С., Цикин И.А. Системы компьютерной видеоконференцсвязи. М.: Связь и бизнес, 1999
1.5.Методы компьютерной обработки изображений / Под ред. В.А. Сойфера. М.: Физматлит, 2001
1.6.Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005
1.7.Яне Б. Цифровая обработка изображений. М.: Техносфера, 2007
1.8.Справочник по телевизионной технике / Пер. с англ. под ред. С.И. Катаева. Т.1–2. М.-Л.: Госэнергоиздат, 1962
1.9.Телевизионная техника. Справочник / Под общ. ред. Ю.Б. Зубарева и Г.Л. Глориозова. М.: Радио и связь, 1994
1.10.Видеоконференции и видеоконференцсвязь: словарь терминов http://slovotolk.com/society/tvcinema /frameglossary_rus.html
1.11.Видеоконференции и видеоконференцсвязь: словарь терминов http://www.stel.ru/videoconference/tech_vc/glossary/
1.12.NNM-Club:: Глоссарий — перечень видео и кодек терминов http://nnm-club.ru/forum/viewtopic.php?t=28
1.13.Standards — Videokonferenz|Audiokonferenz|Vebkonferenz http://www.mvc.de/contenttwocolumns.php?c=16&pn=4&pk=23#v
1.14.SkyVisionDVR.Com — List of Image Resolution http://skyvisiondvr.com/sky/index.php?option=com_content&task= view&id=11&Itemid=25
1.15.Ох уж эти разрешения http://www.mobil.ru/article.php?advice=108
1.16.John McGowan’s AVI Overview: Glossary http://www.jmcgowan.com/avigloss.html
1.17.USB PC Camera http://www.pc-cameras.philips.com/manuals/Pdf/usermanual646en.pdf.
1.18.TRLabs / Video Conferencing: Promising but why did we end up traveling to this Symposium?
http://www.win.trlabs.ca/icts/images/andrewkostiuk.pdf