(по цифровому вещанию) Dvorkovich_V_Cifrovye_videoinformacionnye_sistemy

Глава 12. Методы анализа и компенсации движения

уменьшение относительной площади каждого из движущихся объектов. Если объект имеет сложную структуру и его площадь мала, вклад в корреляционный сигнал может оказаться недостаточным для правильного вычисления вектора движения.

Для улучшения анализа движения нескольких объектов было предложено использовать предварительное нелинейное преобразование исходного изображения [36]. В частности, если движущийся объект имеет мелкие детали низкой контрастности (так называемую текстуру на изображении), вероятность правильного определения вектора движения улучшается при использовании следующего комплексного нелинейно-дифференциального преобразования:

где

g(x, y) = 12 (F + s( ∂F∂x )) ≡ 12 {F (x, y) + s [F (x + 1, y) − F (x − 1, y)]},

(12.10)

h(x, y) = 12 (F + s( ∂F∂y )) ≡ 12 {F (x, y) + s [F (x, y − 1) − F (x, y − 1)]}.

Функция s(Λ) определяется по знаку аргумента:

На рис. 12.8 показаны 2 области размером 128×128 пикселов из соседних кадров (рис. 12.1), на которых происходит движение с разными скоростями — участка дерева с текстурой и заднего фона. После применения преобразования (12.9) изображение на рис. 12.8 имеет характерный вид, похожий на «отпечатки пальцев». Несмотря на то, что новое изображение «отпечатков пальцев» отличается от исходного, оно сохраняет информацию о положении объектов в рассматриваемой области и, как показывают эксперименты, улучшает вероятность определения векторов движения.

В стандартном методе фазовой корреляции на корреляционной поверхности присутствует только пик от движения заднего фона, а пик от движения дерева не превышает шумов (рис. 12.9а), тогда как при использовании преобразования (12.9) отчетливо наблюдаются оба пика (рис. 12.9б), дающих правильные значения векторов движения двух имеющихся объектов — участков с деревом и задним фоном.

12.1.8. Оптимизация поиска векторов движения

по стандарту MPEG-4 (метод быстрого поиска MVFAST)

Во второй модели оптимизации стандарта кодирования MPEG-4 описана методика быстрого анализа движения [4.37–4.41]. Эта методика сочетает высокое быстродействие и достаточно высокую эффективность поиска векторов движения объектов, смещение которых близко к плоскопараллельному с небольшой скоростью или с небольшим ускорением. В этой методике поиск вектора движения состоит из нескольких шагов.

1) Проверка нулевого вектора.

Большое количество макроблоков в видеопоследовательностях с небольшим движением имеют вектор движения, равный нулю. Такие макроблоки могут быть

Глава 12. Методы анализа и компенсации движения

Рис. 12.13. Модели поиска крест (а), диагональ (б) и уточнение (в)

медианному значению трех векторов соседних макроблоков. Кроме того, добавляется еще одна стратегия поиска. Фактически стратегия LDS делится на две части — крест (cross) и диагональ (diagonal), стратегия SDS называется уточнением (refine) (см. рис. 12.13).

Переключение между стратегиями поиска происходит аналогично шагам, описанным выше. От модели «крест» происходит переключение к модели «диагональ», а затем к модели «уточнение».

Начальный выбор стратегии поиска модифицируется следующим образом. Модель «крест» выбирается, если

–медианный вектор — нулевой;

–хотя бы один из трех векторов соседних макроблоков «похож» на медиан-

ное значение (под похожестью двух векторов A = (Ax, Ay ) и B = (Bx, By) понимается выполнение условий |Ax − Bx| < 4 и |Ay − By | < 4);

–похожи все три вектора соседних макроблоков.

Впротивном случае выбирается модель «уточнение».

Поиск движения также может прерываться, если найдена точка, для которой SAD меньше заданного порогового значения. Это может заметно повысить скорость поиска движения, но снизить его эффективность.

В[4.43] изложен надежный и достаточно быстрый алгоритм анализа движения деталей в динамических изображениях, обеспечивающий увеличение зоны поиска векторов движения и, вследствие этого, повышение качества воспроизведения быстро перемещающихся деталей. В качестве основного применения алгоритма предполагалось его использование в составе кодеров, использующих алгоритмы компрессии семейства MPEG. Этот алгоритм позволил за счет предварительного анализа характера изображения в макроблоке достичь ускорения по сравнению со стандартным алгоритмом полного перебора в 15–30 раз. Величина ускорения зависит от требований к точности компенсации движения, и уже при отличии от максимального качества компенсации движения — меньше, чем на 10%, составляет величину порядка 15 раз.

12.2. Повышение эффективности анализа движения по опорным точкам

Этот способ анализа векторов движения деталей в динамических изображениях включает следующие стадии:

–преобразование последовательности кадров изображений в цифровую форму;

–запоминание дискретных отсчетов яркости текущего и соседнего по времени (опорного) кадров;

–разбиение текущего кадра на макроблоки и поиск вектора движения каждого из макроблоков текущего кадра относительно опорного кадра посредством минимизации по рассматриваемому множеству векторов движения контрольной суммы данного макроблока.

Контрольная сумма — это сумма норм попиксельной разности уровней в текущем и опорных кадрах, причем все множество пикселов рассматриваемого макроблока разбивается на участки, в каждом из которых выбирается только один пиксел, и контрольная сумма вычисляется лишь по выбранным пикселам. При этом упомянутые пикселы в каждом из участков выбираются таким образом, что их уровни в смежных участках наиболее отличаются друг от друга.

Дополнительно в этом способе для каждого текущего рассматриваемого значения вектора движения вычисление контрольной суммы по выбранным упомянутым пикселам производится в порядке убывания отклонения значения сигнала в каждом пикселе от среднего значения по всей совокупности упомянутых пикселов. Вычисление контрольной суммы прерывается в случае, когда она превышает минимальное значение, найденное среди всех уже рассмотренных векторов движения.

Ограничением этого способа является разбиение макроблока на несколько строго зафиксированных участков и выбор по заданному алгоритму характерного пиксела без учета структуры сигнала в остальных участках, что является лишь одним из возможных способов выборов опорных пикселов.

В [4.43] рассмотрен также второй способ выбора опорных пикселов макроблока с помощью использования порядковой статистики для всех пикселов макроблока, что также является лишь одним из возможных способов выборов опорных пикселов. Кроме того, поиск векторов движения производится по опорным пикселам макроблока только для исходного разрешения кадра, что ограничивает технический результат по уменьшению числа вычислительных операций.

При дальнейшем развитии этого нового способа анализа движения была поставлена задача сокращения вычислительных операций при более общем возможном выборе структуры опорных точек, характеризующих рельеф («скелет») значений макроблока, снижение вычислительной сложности метода, что позволяет уменьшить сложность вычисления векторов движения, повышение быстродействия кодирующих устройств и, вследствие этого, возможность производить анализ движения деталей динамических изображений в больших областях, сократив при этом объем сжатой информации и повысив качество воспроизведения быстродвижущихся деталей [4.44].

Этот способ поиска векторов движения деталей в динамических изображениях реализуется следующими действиями:

–преобразование последовательности кадров изображений в цифровую форму;

–запоминание дискретных отсчетов яркости текущего и опорного кадров;

Глава 12. Методы анализа и компенсации движения

–разбиение текущего кадра на макроблоки;

–поиск вектора движения каждого из макроблоков текущего кадра относительно опорного кадра посредством минимизации по рассматриваемому множеству векторов движения контрольной суммы данного макроблока, являющейся суммой норм попиксельной разности уровней в текущем и опорных кадрах;

–выбор среди множества пикселов каждого макроблока небольшого числа пикселов, характеризующих рельеф значений макроблока;

–вычисление упомянутой контрольной суммы лишь по выбранным опорным пикселам, при этом координаты выбранных пикселов в макроблоке определяют с использованием значений всех пикселов макроблока.

Кроме того, перед выбором опорных пикселов производят передискретизацию исходного и опорного кадров с уменьшением пространственного разрешения по вертикали и горизонтали в заданное число раз посредством применения фильтра к исходному и опорному кадрам. Далее для каждого получившегося макроблока меньшего размера производят выбор опорных пикселов и находят один или несколько наилучших векторов движения по отношению к опорному кадру меньшего разрешения посредством минимизации контрольной суммы с использованием выбранных опорных пикселов. Значение полученных одного или нескольких векторов движения увеличивают в соответствии с исходным разрешением кадра. В окрестностях одного или нескольких полученных векторов производят поиск вектора движения макроблока в кадре исходного разрешения с точностью до целых либо половинных значений пикселов посредством минимизации контрольной суммы с использованием пикселов макроблока исходного разрешения.

Дополниительно для выбора опорных пикселов производят переупорядочивание пикселов каждой из строк макроблока в порядке возрастания их значений и отбор нескольких равноотстоящих друг от друга пикселов в порядке возрастания получившихся номеров пикселов. Для отобранных таким образом

вмакроблоке пикселов производят переупорядочивание по столбцам в порядке возрастания их значений и выбор нескольких равноотстоящих друг от друга пикселов в порядке возрастания получившихся номеров пикселов. При этом для каждого из выбранных пикселов запоминают их координаты в исходном макроблоке.

Для выбора опорных пикселов в каждой из строк макроблока выбирают несколько первых пикселов в порядке убывания абсолютного отклонения значений пикселов от их среднего значения по строке. Среди выбранных таким образом пикселов

вкаждом из столбцов выбирают нескольких первых пикселов в порядке убывания абсолютного отклонения значений пикселов от их среднего значения по столбцу, при этом для каждого из выбранных пикселов запоминают их координаты в исходном макроблоке.

Для выбора опорных пикселов каждый макроблок также разбивают на несколько областей, в каждой из которых выбирают в качестве опорного только один пиксел, имеющий максимальное либо минимальное значение внутри данной области. При этом если в данной области выбран пиксел с максимальным значением, то в соседней с ним области выбирают пиксел с минимальным значением, и наоборот, причем для каждого из выбранных пикселов запоминают их координаты в исходном макроблоке.

12.2. Повышение эффективности анализа движения по опорным точкам

Рис. 12.14. Текущий — (а) и опорный — (б) кадры видеопоследовательности «Сад цветов»

Рис. 12.15. Увеличенное изображение одного макроблока из текущего кадра (а — помечен белой рамкой) и соответствующий ему участок изображения в опорном кадре (б — помечен черной рамкой)

И, наконец, для каждого текущего рассматриваемого значения вектора движения вычисление контрольной суммы с использованием выбранных опорных пикселов производят в порядке убывания отклонения значения сигнала в каждом пикселе от среднего значения по всей совокупности опорных пикселов. Дальнейшее вычисление контрольной суммы прерывают в случае, когда она превышает K-е минимальное значение контрольной суммы, найденной среди всех уже рассмотренных векторов движения.

Алгоритм анализа движения деталей в динамических изображениях можно проиллюстрировать на примере определения вектора смещения одного из макроблоков динамического изображения «Сад цветов» (рис. 12.14а — текущий, б — опорный кадры).

На рис. 12.15а приведена в увеличенном масштабе часть изображения текущего кадра с обведенным макроблоком, вектор движения которого определяется в зоне опорного кадра, изображенной на рис. 12.15б. Макроблок имеет размер 16 × 16 пикселов, зона поиска движения — 64 × 64 пиксела. На рис. 12.15б обозначено положение смещенного макроблока в опорном кадре.

В случае использования стандартного метода поиска вектора движения в указанной зоне поиска требуется вычислительная мощность в 3·492 = 7203 операции на каждый пиксел макроблока. Рельеф сигнала яркости макроблока изображен на рис. 12.16, а в табл. 12.2 приведены цифровые значения яркости пикселов этого макроблока.

Глава 12. Методы анализа и компенсации движения

Рис. 12.16. Рельеф сигнала яркости выбранного макроблока

Таблица 12.2. Уровни яркости пикселов в выбранном макроблоке

В макроблоке выбирается несколько опорных пикселов, характеризующих рельеф (скелет) макроблока. Рассмотрим пример, когда число опорных пикселов равняется 16.

Для выбора опорных пикселов все пикселы макроблока переупорядочивают по строкам в порядке возрастания их значений (табл. 12.3). После переупорядочивания производят выбор пикселов с номерами столбцов x = {1, 6, 11, 16} (табл. 12.4).

12.2. Повышение эффективности анализа движения по опорным точкам

Таблица 12.3. Уровни яркости пикселов в выбранном макроблоке, переупорядоченные в строках в порядке возрастания их значений

После выбора столбцов производят переупорядочивание выбранных пикселов по столбцам в порядке возрастания значений (табл. 12.5). После переупорядочивания по столбцам производят конечный выбор опорных пикселов с номерами строк y = {1, 6, 11, 16} (табл. 12.6). При выборе опорных пикселов их координаты запоминают в исходном макроблоке, выбранные опорные пикселы обозначены подчеркиванием (табл. 12.2–12.5).

Для поиска вектора движения x y в способе рассматривают сумму

V = (V , V )

нормы разницы сигналов выбранных пикселов для двух макроблоков в текущем

и опорном кадрах SAD1 со сдвигом на вектор движения:

Таблица 12.5. Переупорядоченные уровни яркости пикселов в выбранном макроблоке в выбранных столбцах, переупорядоченные в столбцах в порядке возрастания значений