Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

(по цифровому вещанию) Dvorkovich_V_Cifrovye_videoinformacionnye_sistemy

.pdf
Скачиваний:
253
Добавлен:
15.03.2016
Размер:
23.26 Mб
Скачать

Глава 11. Обработка изображений при кратномасштабном анализе

Рис. 11.8. Распределение энергии по высокочастотным компонентам изображения 444-го кадра из фильма «Матрица» после прямого преобразования — а и восстановления составляющей — б

Рис. 11.9. Распределение энергии по высокочастотным компонентам изображения 1165-го кадра из фильма «Матрица» после прямого преобразования — а и восстановления составляющей — б

Используя формулы (11.3) и (11.4), нетрудно показать, что:

λ =

2

 

=

1

.

(11.5)

СКО

 

 

 

Mod

 

Выбор количества уровней квантования проводился экспериментальным путем на основе:

практического отсутствия визуального улучшения качества изображения при переходе к большему числу уровней квантования;

11.2. Выбор маски квантования высокочастотных компонент

уменьшения отношения сигнал–шум (PSNR) не более чем на 0,8 дБ для каждой квантованной и восстановленной высокочастотной компоненты (т. е. после обратного вейвлет-преобразования) по сравнению с неквантованной при общем уменьшении PSNR восстановленного изображения не более чем на 3 дБ.

Учитывая, что обычно используется 8-разрядная шкала для сигналов изображения:

PSNR = 20 log

256

.

(11.6)

 

 

CKO

 

В табл. 11.2 приведены результаты расчета параметра λ для пяти различных высокочастотных областей использованных тестовых изображений при вейвлетпреобразовании с помощью КИХ-фильтров с числовой решеткой 10/10.

Таблица 11.2. Параметр λ для различных областей тестовых изображений

Изображение

 

НВН

НВВ

ВНН

ВНВ

ВВ

 

 

Y

0,151

0,161

0,093

0,14

0,35

«Лена»

 

 

 

 

 

 

Cr

0,645

0,73

0,516

0,68

1,262

 

 

Cb

0,593

0,675

0,479

0,632

1,202

«Барбара»

Y

0,168

0,177

0,024

0,047

0,314

 

 

 

 

 

 

 

 

«Золотой холм»

Y

0,081

0,148

0,077

0,135

0,319

 

 

 

 

 

 

 

 

 

 

Y

0,084

0,165

0,041

0,095

0,362

«Залив»

Cr

1,181

1,762

0,752

1,682

3,101

 

 

 

 

 

 

 

 

 

 

Cb

1,01

1,536

0,646

1,453

2,84

 

 

 

 

 

 

 

 

 

206

Y

0,482

0,669

0,42

0,62

1,3

Кадры из фильма «Матрица»

444

Y

0,198

0,47

0,114

0,44

1,092

 

1165

Y

0,212

0,382

0,092

0,301

1,01

 

 

 

 

 

 

 

 

Число уровней квантования выбиралось из ряда 0, 3, 7, 15, . . . , (2n − 1). В результате исследования большого количества различных изображений была сформирована приведенная в табл. 11.3 маска выбора числа уровней квантования в зависимости от параметра λ.

Таблица 11.3. Маска числа уровней квантования вейвлет-преобразований изображений

Параметр λ

λ > 1

1 λ > 0,4

0,4 λ > 0,15

0,15 λ > 0,05

0,05 λ > 0,02

0,02 λ

 

 

 

 

 

 

 

Число

0

3

7

15

31

63

уровней

квантования

 

 

 

 

 

 

 

 

 

 

 

 

 

Значение λ < 0,02 свойственно в основном текстурам (искусственным изображениям) и поэтому редко встречается при естественных и телевизионных изображениях.

Каждый из диапазонов значений λ может быть разбит на более мелкие поддиапазоны, для которых формируются свои маски квантования при заданном числе уровней квантования, что также может позволить несколько увеличить величину PSNR.

Соответственно, выбор параметров неравномерного квантования осуществлялся на основе метода Ллойда–Макса [4.23] применительно к усредненному

Глава 11. Обработка изображений при кратномасштабном анализе

значению коэффициента λ. Полученные маски квантования для количества уровней квантования, равного 3, 7 и 15, представлены в табл. 11.4. В этой таблице приведена только положительная часть пороговых уровней и уровней квантования (отрицательный участок маски квантования симметричен).

Таблица 11.4. Маски уровней квантования

Количество уровней

Номер маски

Значения λ

 

Пороговые уровни и уровни квантования

 

 

 

 

 

 

 

 

 

 

 

 

 

1

0,6 . . . 1

[−1,1]

[2,. . . ]

 

 

 

 

 

 

 

 

 

 

 

 

 

 

3

0

3

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

0,6 . . . 0,4

[−2,2]

[3,. . . ]

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0

3

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

3

0,4. . . 0,24

[−2,2]

[3,5]

[6,10]

[11,. . . ]

 

 

 

 

 

 

 

 

 

 

 

 

7

0

3

7

16

 

 

 

 

 

 

 

 

 

 

4

0,24 . . . 0,15

[−3,3]

[4,7]

[8,14]

[15,. . . ]

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0

4

9

23

 

 

 

 

 

 

 

 

 

 

 

 

5

0,15. . . 0,08

[−3,3]

[4,6]

[7,11]

[12,18]

[19,27]

[28,38]

[39,51]

[52,. . . ]

 

 

 

 

 

 

 

 

15

0

4

8

14

23

33

45

60

 

 

6

0,08 . . . 0,05

[−3,3]

[4,7]

[8,14]

[15,24]

[25,35]

[36,52]

[53,69]

[70,. . . ]

 

 

 

 

 

 

 

 

 

 

0

4

9

19

30

43

61

82

 

 

 

Естественно, квантование высокочастотных компонент вейвлет-преобразова- ний изображений приводит к уменьшению объема информативных составляющих и уменьшению величины PSNR, что иллюстрируется табл. 11.5.

Таблица 11.5. Результаты квантования высокочастотных областей тестовых изображений

Изображение

Уменьшение объема информации

PSNR, дБ

 

 

 

 

«Лена»

4,12

34

 

 

 

 

«Барбара»

4,17

34,5

«Золотой холм»

4,17

36

 

 

 

 

«Залив»

4,24

36

 

 

 

 

 

0206

6,32

32,3

Кадры из фильма «Матрица»

0444

6,0

35,8

 

 

 

 

 

1165

5,5

38,8

 

 

 

 

-

На рис. 11.10а–г приведены результаты разложения тестовых изображений «Лена», «Барбара», «Золотой холм» и «Залив», на 4 и 6 областей каждое. Величины коэффициентов области НН уменьшены в 2 раза, а величины коэффициентов всех высокочастотных областей, расположенных на уровне серого, увеличены в 4 раза.

11.4. Обработка тестовых изображений трехполосными вейвлет-фильтрами

Из приведенных рисунков видно, что разбиение на 6 областей позволяет сконцентрировать энергию в более низкочастотных компонентах, что обеспечивает квантование высокочастотных компонент с меньшим количеством уровней.

После вейвлет-преобразования в каждой из высокочастотных компонент изображения содержится различное количество энергии. Поэтому к каждой из компонент изображения возможно применение своей маски квантования, незначительно ухудшающей качество изображения.

В табл. 11.6 приведены результаты уменьшения объема информации после преобразования и квантования при применении разбиения изображений на 4 и на 6 областей при условии PSNR ≈ 37 дБ.

Следует отметить, что в данном случае рассмотрено только уменьшение объема информации, связанное с вейвлет-разложением и последующим квантованием, без учета последующего кодирования.

Таблица 11.6. Изменение объема информации при квантовании высокочастотных областей

Название изображения

Уменьшение объема информации

 

Разбиение на 4 области

Разбиение на 6 областей

«Лена»

1,68

2,05

 

 

 

«Барбара»

1,60

1,94

 

 

 

«Золотой холм»

1,68

2,05

«Залив»

1,60

1,94

 

 

 

Разложение изображения на 6 областей приводит к некоторому увеличению числа выполняемых операций в кодирующем устройстве, число же операций, выполняемых декодером, возрастает незначительно.

Таким образом, вейвлет-разложение на 6 областей позволяет дополнительно уменьшить примерно на 20% объем информации по сравнению с разложением на 4 области при применении одной и той же маски квантования и одинакового уровня PSNR.

-

Для повышения эффективности преобразования изображений возможно производить разделение сигналов при помощи трехполосных фильтров (см. главу 9), которые делят сигнал на три составляющие (низкочастотную, среднечастотную

ивысокочастотную).

Вэтом случае вейвлет-преобразование выполняется по стандартной схеме: сначала преобразованию подвергаются все строки изображения, в результате чего формируются 3 области (низкочастотная, среднечастотная и высокочастотная); затем вейвлет-преобразование применяется ко всем столбцам полученных коэффициентов, в результате чего получается 9 областей. Структурная схема вейвлет-разложения изображения и обозначение полученных областей представлены на рис. 11.11.

Для вейвлет-преобразования по данной схеме может использоваться большой набор банков вейвлет-фильтров с разной цифровой решеткой импульсных

Глава 11. Обработка изображений при кратномасштабном анализе

Рис. 11.10. Разложение тестовых изображений «Лена» (а), «Барбара» (б), «Золотой холм» (в), «Залив» (г) на 4 и 6 областей

характеристик (ИХ) низкочастотных (ФНЧ), среднечастотных (ФСЧ) и высокочастотных (ФВЧ) фильтров. Следует отметить, что с ростом числа отсчетов в ИХ увеличивается ширина полосы пропускания НЧ-фильтра и уменьшается соответствующая полоса ВЧ-фильтра, при этом наблюдается небольшое уменьшение энергии в среднечастотных и высокочастотных компонентах.

С другой стороны, по мере увеличения числа отсчетов в ИХ растет количество вычислительных операций при выполнении дискретного вейвлет-преобразова-

11.4. Обработка тестовых изображений трехполосными вейвлет-фильтрами

Рис. 11.11. Структурная схема вейвлет-разложения изображения на 9 областей

ния, поэтому в реальных системах сжатия изображений при помощи вейвлетпреобразования необходим компромисс между длиной ИХ вейвлет-базиса и требуемым объемом вычислений.

На рис. 11.12а–г приведены результаты разложения четырех тестовых изображений на 9 областей. Величина НН-коэффициентов уменьшена в 3 раза, величина всех высокочастотных коэффициентов, расположенных на уровне серого, увеличена в 5 раз.

Из приведенных рисунков видно, что разбиение на 9 компонент позволяет сконцентрировать основную энергию изображения в низкочастотной и среднечастотной компонентах, что обеспечивает квантование высокочастотных компонент со значительно меньшим количеством уровней.

В табл. 11.7 приведены результаты уменьшения объема информации после преобразования и квантования при применении разбиения на 9 компонент по сравнению с разбиением на 4 компоненты при условии PSNR ≈ 37 дБ.

Таблица 11.7. Изменение объема информации при разбиении изображения на 4 и 9 областей

Название изображения

Уменьшение объема информации

 

 

 

Разбиение на 4 области

Разбиение на 9 областей

 

 

 

«Лена»

1,68

2,32

«Барбара»

1,60

2,16

«Золотой холм»

1,68

2,16

 

 

 

«Залив»

1,60

2,32

Таким образом, вейвлет-разложение на 9 компонент позволяет дополнительно уменьшить примерно на 40% объем информации по сравнению с разложением на 4 компоненты при применении одной и той же маски квантования и одинаковой величины PSNR.

Глава 11. Обработка изображений при кратномасштабном анализе

Рис. 11.12. Разложение тестовых изображений «Лена» (а), «Барбара» (б), «Золотой холм» (в), «Залив» (г) на 9 областей

Для еще большей эффективности преобразования изображений высокочастотные и среднечастотные компоненты трехполосного вейвлет-преобразования можно дополнить двухполосным вейвлет-преобразованием, при этом в зависимости от глубины преобразования возможно разложение на 11, 13 или 16 компонент (см. рис. 11.11).

На рис. 11.13а–в приведены вейвлет-разложения изображения «Залив» с разбиением на 11, 13 и 16 областей. Величина коэффициентов НН-области уменьшена в 3 раза, величина коэффициентов всех остальных областей, расположенных на уровне серого, увеличена в 5 раз.

В табл. 11.8 приведены средние значения параметра λ для компонент по четырем тестовым изображениям при разложении на 4 и 6 областей.

Таблица 11.8. Средние значения параметра λ по 4 и 6 областям

Количество областей

Средние значения λ

 

 

НВ

ВН

ВВ

 

 

 

 

 

 

4

0,13

0,14

0,42

 

 

 

 

 

 

6

НВН

НВВ

ВНН

ВНВ

0,42

0,09

0,20

0,10

0,22

 

 

Вследующей табл. 11.9 приведены средние значения параметра λ по четырем тестовым изображениям при разложении на 9, 11, 13 и 16 областей соответственно.

Втабл. 11.10 приведены результаты уменьшения объема информации, содержащейся в преобразованном изображении при применении разбиения на 4, 6 9, 11, 13 и 15 компонент соответственно при условии PSNR 37 дБ.

11.4. Обработка тестовых изображений трехполосными вейвлет-фильтрами

 

 

Таблица 11.9. Средние значения параметра λ по 9, 11, 13 и 16 областям

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Коли-

 

 

 

Среднее значение λ для всех областей

 

 

 

 

 

 

 

чество

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

обла-

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

стей

НС

СН

НВ

 

ВН

 

 

 

СС

 

СВ

ВС

ВВ

 

 

9

 

0,09

0,08

0,15

 

0,13

 

 

 

0,18

 

0,36

0,32

0,7

 

 

11

 

НСН

НСВ

НСН

НСВ

0,15

 

0,13

 

 

 

0,18

 

0,36

0,32

0,7

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0,06

0,16

0,05

0,15

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

13

 

0,06

0,16

0,05

0,15

НВН

НВВ

ВНН

ВНВ

 

 

0,18

 

0,36

0,32

0,7

 

 

0,13

 

0,25

 

0,12

 

0,24

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

16

 

0,06

0,16

0,05

0,15

0,13

 

0,25

 

0,12

 

0,24

НН

ВН

НВ

ВВ

0,36

0,32

0,7

 

 

 

 

0,14

0,35

0,33

0,62

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Таблица 11.10. Уменьшение объема информации при вейвлет-преобразовании изображений

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Уменьшение объема информации в зависимости

 

 

 

 

 

 

Название изображения

 

 

от количества областей в разбиении

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

4

 

6

9

 

11

13

 

 

16

 

 

 

 

 

 

 

 

 

«Лена»

 

1,68

 

2,05

2,32

 

2,51

2,61

 

 

2,84

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

«Барбара»

 

1,60

 

1,94

2,16

 

2,34

2,46

 

 

2,63

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

«Золотой холм»

1,68

2,05

2,16

2,29

2,42

 

 

2,67

 

 

 

 

 

 

 

 

 

«Залив»

 

1,60

 

1,94

2,32

 

2,49

2,58

 

 

2,81

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

При этом под уменьшением объема информации понимается отношение количества битов, требуемых для передачи исходных тестовых монохромных изображений, к количеству битов после вейвлет-преобразования и последующего квантования высокочастотных областей.

Таким образом, разложение изображения на большое количество областей приводит к некоторому увеличению числа выполняемых операций в кодирующем устройстве по сравнению со стандартным вейвлет-разложением на 4 компоненты. Число же операций, выполняемых декодером, в силу малого числа ненулевых отсчетов в среднечастотных и высокочастотных компонентах возрастает незначительно.

При стандартном вейвлет-разложении изображений на 4 компоненты и последующем квантовании высокочастотных областей объем информации в среднем может быть уменьшен в 1,64 раза. Дополнительная обработка двух высокочастотных областей этих вейвлет-преобразований позволяет дополнительно уменьшить объем информации на 25%.

При вейвлет-разложении изображений на 9, 11, 13 и 16 областей объем информации в среднем уменьшается по сравнению с разложением на 4 компоненты на 35%, 45%, 50% и 60% соответственно.

Глава 11. Обработка изображений при кратномасштабном анализе

Рис. 11.13. Разложение изображения «Залив» на 11 (а), 13 (б) и 16 (в) областей

Можно привести по крайней мере две проблемы, не позволяющие практически использовать трехмерную обработку последовательности кадров динамических изображений.

Во-первых, в процессе развития сюжета во времени отдельные объекты перемещаются в плоскости кадра из-за собственного движения или перемещения камеры. При этом соответствовать друг другу по положению на объекте и, следовательно, иметь наибольшую корреляцию величин яркости будут несоответствующие друг другу по координатам в кадре пикселы. В таких случаях применение трехмерных преобразований к прямоугольным блокам уже не представляется оптимальным.

Вторая проблема связана с происходящей время от времени сменой сюжета. При этом изменения в изображении могут быть глобальными, во всем пространстве кадра (например, когда режиссер переключает трансляцию с одной камеры на другую), или локальными, охватывающими лишь несколько ограниченных участков изображения, которые могут быть связаны со скачкообразными перемещениями объектов в сюжете или резкими изменениями их яркости.

Самое значительное распространение в настоящее время получил метод гибридной обработки движущихся изображений, в котором используются двумерное групповое кодирование (например, ДКП) в пространстве и анализ движения внутри трехмерного блока по оси времени.

Такой способ позволяет осуществлять так называемую компенсацию движения, т. е. ставить в соответствие предыдущему по времени двумерному блоку блок, смещенный в пространстве на вектор (Δi, j), называемый вектором движения, так что учитывается плоскопараллельное перемещение объекта в изображении за время смены кадра t. При этом если i и j — целые числа, то b(i + i, j + j, t + t) = b(i, j, t), где b — яркости пикселов.

Точное равенство возможно лишь при условии, что движение объекта исчерпывается плоскопараллельным смещением, его освещенность постоянна, градиент яркости фона равен нулю и все объекты в каждом блоке движутся с одной

итой же скоростью, выражаемой целыми числами пикселов за смену кадра по обеим пространственным осям. Вообще говоря, вектор движения может быть

инецелочисленным. В общем случае приходится решать задачу минимизации

меры различия анализируемых блоков:

min

D[b(i + i, j + j, t + t) − b(i, j, t)] ,

i, j

i,j block

где мера D(Δb) может быть произвольной.