1.7.7. Метод Motion jpeg и формат dv

Метод Motion JPEG (MJPEG) при помощи соответствующих аппаратных средств выполняет только внутрикадровое сжатие видеоинформации в РВ (но без сжатия аудиоинформации) с коэффициентами (5-100):1. Каждый кадр обрабатывается независимо, что позволяет потом осуществлять произвольный (независимый) доступ к любому кадру [3]. MJPEG (по сравнению с MPEG) работает быстрее, но качество дает ниже. Он является стандартным алгоритмом сжатия для компьютерного формата чередующегося аудио и видео AVI (Audio Video Interleaved), используется для нелинейного цифрового видеомонтажа, но MPEG-2 постепенно внедряется и в эту область.

По мнению аналитиков, с ростом доступности быстрых каналов и с увеличением применения кабельных модемов и DSL-соединений, схемы, когда изображения сначала загружаются, а потом воспроизводятся, уходят в прошлое. В прошлое уйдут и коммутируемые Internet-соединения по телефонным линиям. Методы компрессии с потерями, такие как MPEG, уступят место потоковому видео. Кабельные модемы позволяют воспроизводить видео в РВ. Его можно смотреть так же, как кабельное телевидение.

Формат DV используется цифровыми видеокамерами и платами видеомонтажа. Алгоритм кодирования аналогичен JPEG. Каждый кадр обрабатывается независимо от других, из-за чего формат обладает самой низкой степенью сжатия. Зато он позволяет производить монтаж без потери качества и редактирование с минимальным его ухудшением. Для хранения одного часа видео в MPEG-4 требуется 12 Гбайт, что довольно внушительно даже по сегодняшним меркам.

Выбор формата хранения видеоматериала зависит от его назначения. Если фильм планируется просматривать на бытовых проигрывателях Video-CD или DVD, то формат определяется имеющейся аппаратурой. Если материал предполагается редактировать, то лучше оставить его до окончания этого процесса в Digital Video. Когда же материал получен в другом формате (например, оцифровкой с аналоговой видеокамеры с помощью TV-тюнера), для минимизации потерь перед началом обработки видео лучше конвертировать в Digital Video, и только завершив ее, решать вопрос о выборе конечного формата. DVD помимо высокого качества привлекает и некоторыми дополнительными возможностями: работа с несколькими звуковыми дорожками, создание субтитров и т. п. При необходимости их использования имеет смысл предпочесть MPEG-2. Во всех же остальных случаях разумнее остановить свой выбор на MPEG-4/DivX. По крайней мере, именно этот формат обеспечивает наилучшее соотношение между качеством картинки и требуемым объемом [60].

1.8. Элементы технологии синтеза 3d-изображений

Для иллюстрации вычислительных аспектов функционирования видеосистемы ПК и сложности решаемых ее графическим процессором и ускорителем задач кратко рассмотрим процесс создания на ПК синтезированных видеоматериалов. В общем случае синтез трехмерного изображения включает в себя следующие этапы [49]:

• конструирование (расчет) трехмерного объекта на основе исходных данных, например, результатов 3D-сканирования или математического описания объекта;

• расчет движения объекта и трансформации его формы;

• моделирование поверхности объекта с учетом различных факторов (освещения, отражений, рельефа и раскраски поверхности и т.п.);

• проецирование рассчитанного объекта на плоскость экрана с учетом всех возможных визуальных эффектов, обусловленных его строением, особенностями освещения, степенью прозрачности среды и т.п.

Все эти операции выполняются для того, чтобы аналитически рассчитать те особенности конечного изображения, которые будут создавать ощущение его объемности. Эти особенности основаны на развитой в результате опыта способности человека к объемному восприятию изображений, к которой относятся:

• оценка расстояния до объекта на основе информации о его размерах (чем меньше выглядит объект известных размеров, тем дальше он находится);

• оценка порядка наложения двух объектов равной высоты друг на друга (тот, который выгдядит выше, – находится ближе);

• определение глубины пространства за счет использования эффекта перспективы – визуального сближения параллельных линий, уходящих вдаль;

• анализ световых эффектов на объекте (теней, бликов и т.п.) [49].

Использование этих факторов позволяет создать ощущение объемности изображения не только при бинокулярном, но и при монокулярном зрении. Это дает возможность формировать изображения 3D-объектов с помощью традиционных двумерных устройств отображения (мониторов).

3D-конвейер. Процесс расчета трехмерного изображения объекта (точнее, его двумерной проекции) называется 3D-конвейером, поскольку он выполняется в несколько последовательных типовых этапов [49].

1. Построение геометрической (каркасной) модели поверхности объекта путем задания трехмерных координат опорных (ключевых) точек, а также уравнений соединяющих их линий. Объектов в кадре обычно бывает несколько. Подобным образом осуществляется конструирование сцены, ландшафта, интерьера.

2. Разбиение поверхности полученного объекта на элементарные плоские элементы (как правило, треугольники) – тесселяция или триангуляция. Чем больше получится плоских граней и меньше их размер, тем точнее воспроизводится поверхность объекта.

3. Трансформация – моделирование «динамики» объекта: его перемещения, вращения, изменения размеров и формы. Сводится к стандартному преобразованию трехмерных координат вершин граней (вертексов) и требует интенсивного использования операций матричной (линейной) алгебры и тригонометрических функций.

4. Расчет освещенности и затенения поверхности объекта. Осуществляется расчет освещенности каждого элементарного треугольника в зависимости от его удаленности от источника света и угла падения светового луча (это подчеркнет объемность объекта). Чтобы устранить «угловатость» плоских граней, используют методы интерполяции значений освещенности, обеспечивающие плавное ее изменение на границах – затенение, например, по методу Гуро или по методу Фонга.

5. Проецирование полученного 3D-объекта на плоскость экрана – преобразование 3D-объекта в совокупность двумерных координат вершин его граней. При этом для каждой вершины запоминается ее расстояние до плоскости проецирования (z-координата), что позднее позволит корректно определять видимость частей объекта. Совокупность данных о глубине каждой вершины (значений z-координат) называют z-буфером.

6. Обработка (настройка) координат вершин элементарных треугольников – преобразование в целые числа, сортировка, отбрасывание задних граней.

7. Удаление скрытых поверхностей.

8. Закраска элементарных треугольников (текстурирование) путем наложения текстур (texture) – элементов «обшивки» объекта. Текстура хранится в виде квадратной растровой картинки, состоящей из текселов (texel – texture element). Другими словами, тексел – это пиксел текстуры. Наложение текстур – первый этап конвейера, выполняемый с растровой графикой, а поэтому довольно трудоемкий, подверженный дефектам и требующий различных приемов их коррекции, таких как: использование текстур с различным разрешением, коррекция перспективы, фильтрация и другие.

9. Моделирование эффектов прозрачности и полупрозрачности объектов и среды – коррекция цвета пикселов (альфа-смешение и затуманивание).

10. Коррекция дефектов картинки, вызванных угловатостью линий на границах (краях) объектов, – антиалиасинг (anti-aliasing).

11. Интерполяция недостающих цветов при кодировании цвета с менее чем 24 бит/пиксел – дизеринг (dithering).

12. Окончательное формирование кадра. Кадр формируется в кадровом буфере – области локальной памяти 3D-акселератора. Кадровый буфер используется для формирования выходного аналогового видеосигнала 3D-ускорителя, точно так же, как это делается в обычном VGA-адаптере ПК.

13. Пост-обработка (Post-processing). Она производится в том случае, когда требуется реализовать какие-либо двумерные эффекты над сформированным кадром как единым целым.

Этапы 1-7 образуют геометрическую стадию 3D-конвейера, все операции которой выполняются с векторной графикой. Эта стадия связана с интенсивными тригонометрическими и другими вычислениями. Но лишь новейшие профессиональные модели 3D-акселераторов содержат геометрический процессор, обеспечивающий аппаратное ускорение геометрической стадии.

Этапы 8-13 образуют стадию рендеринга (rendering – прорисовка, визуализация), где действия выполняются уже с растровыми объектами, состоящими из отдельных дискретных элементов (пикселов и текселов). Эта стадия является наиболее сложной и трудоемкой, поэтому именно здесь необходимо аппаратное ускорение. Большинство современных 3D-акселераторов как раз и предназначено для выполнения рендеринга, они различаются лишь числом реализуемых функций [49].