ЛИК БЕЗ (ликвидация безграмотности)

Вопросы к экзамену по Мультимедиа технологиям

2011 год

1. Мультимедиа

Мультимедиа – взаимодействие визуальных и аудио-эффектов под управлением интерактивного программного обеспечения с использованием современных технических и программных средств.

Мультимедиа способ передачи информации объединяет текст, звук, графику, фото, видео в одном цифровом представлении, достигая за счет комбинирования этих способов передачи информации максимального вовлечения пользователя в информационный поток.

2. Мультимедийные технологии

В настоящее время мультимедиа-технологии являются бурно развивающейся областью информационных технологий. В этом направлении активно работает значительное число крупных и мелких фирм, технических университетов и студий. Области использования чрезвычайно многообразны: интерактивные обучающие, информационные системы, компьютерные игры, рекламные носители, цифровые развлечения и др.

Основными характерными особенностями этих технологий являются:

объединение многокомпонентной информационной среды (текста, звука, графики, фото, видео) в однородном цифровом представлении;

обеспечение надежного (отсутствие искажений при копировании) и долговечного хранения (гарантийный срок хранения — десятки лет) больших объемов информации;

простота переработки информации (от рутинных до творческих операций).

Достигнутый технологический уровень основан на использовании нового стандарта оптического носителя DVD (Digital Versatile Disk), имеющего емкость одной стороны поверхности порядка пяти гигабайт и заменяющего все предыдущие: CD-ROM, Video-CD, CD-audio. Использование DVD позволило реализовать концепцию однородности цифровой информации. Одно устройство заменяет аудиоплейер, видеомагнитофон, CD-ROM, дисковод, стример и др. В плане представления информации оптический носитель DVD) вплотную приблизил ее к уровню формирования виртуальной реальности.

3. Отличительные особенности мультимедиа продукта, обеспечивающие активность его воздействия и восприятия.

Основной отличительной особенностью мультимедиа продукта, обеспечивающей активность его воздействия и восприятия. является его многокомпонентность, то есть – совмещение в одном произведении воздействия на различные органы чувств. Многокомпонентную мультимедиа-среду целесообразно разделить на три основных информационных потока: аудиоряд, видеоряд, текстовая информация.

4. Звук в мультимедиа

Аудиоряд может включать речь, музыку, эффекты (звуки типа шума, грома, скрипа и т.д., объединяемые обозначением WAVE (волна). Главной проблемой при использовании этой группы мультисреды является информационная емкость. Для записи одной минуты WAVE-звука высшего качества необходима память порядка 10 Мбайт, поэтому стандартный объем CD (до 640 Мбайт) позволяет записать не более часа WAVE. Для решения этой проблемы используются методы компрессии звуковой информации.

Другим направлением является использование в мультисреде звуков (одноголосая и многоголосая музыка, вплоть до оркестра, звуковые эффекты) MIDI (Musical Instrument Digitale Interface). В данном случае звуки музыкальных инструментов, звуковые эффекты синтезируются программно-управляемыми электронными синтезаторами. В последнее время этот метод используется крайне редко, хотя имеет большие перспективы, уступает гораздо более распространенным методам цифрового сжатия звука.

5. Классификация вилеоряда в мультимедиа продукте

Видеоряд по сравнению с аудио-рядом характеризуется большим числом элементов. Выделяют статический и динамический видеоряды.

Статический видеоряд включает графику (рисунки, интерьеры, поверхности, символы в графическом режиме) и фото (фотографии и сканированные изображения).

Динамический видеоряд представляет собой динамическую последовательность статических элементов (кадров). Можно выделить несколько типовых групп: видео, фотофильм, анимация, интерактивный мультимедиа продукт

видео - последовательность кадров, складывающихся в непрерывный видеоряд с частотой около 24 кадров в секунду

фотофильм — последовательность фотографий снабженных переходами, аудиодорожкой и текстовыми пояснениями;

анимация — последовательность рисованных изображений, снабженных аудиодорожкой, озвученными персонажами, титрами. Важно различать цифровую (выполненную с использованием программ 3d анимации, двухмерной анимации созданной с помощью программ анимирования векторной компьютерной графики) и аналоговую анимацию, выполненную с использованием покадровой съемки рисованных, коллажированных либо кукольных персонажей и сцен.

интерактивный мультимедиа продукт - представляет собой многокомпонентную мультимедиа среду, в которой присутствуют и задействованы элементы интерфейса, позволяющие пользователю активно взаимодействовать с мультимедиа- произведением а также трансформировать содержание мультимедиа произведения.

6. Текст в мультимедиа

Текст в мультимедиа продукте используется как одно из основных средств передачи информации. В основном применяется в меню интерактивных презентаций или интерактивных медиа-киосков, также текст широко применяется в виде заглавных, финальных, пояснительных титров в анимационных и видеороликах. При создании текстовых блоков и использовании текста в структуре мультимедиа произведения необходимо учитывать особенности зрительного восприятия текста и визуальной информации.

7. Основные направления использования мультимедиа-технологий:

- электронные издания для целей образования, развлечения и др.;

- в телекоммуникациях со спектром возможных применений от просмотра заказной телепередачи и выбора нужной книги до участия в мультимедиа-конференциях. Такие разработки получили название Information Highway и в настоящее время реализуются в технологии цифрового интерактивного телевидения IPTV;

- мультимедийные информационные системы («мультимедиа-киоски»), выдающие по запросу пользователя наглядную информацию, позволяющие оплачивать услуги, заказывать и получать доступ к разнообразной информации.

С точки зрения технических средств на рынке представлены как полностью укомплектованные мультимедиа-компьютеры, так и отдельные комплектующие и подсистемы (Multimedia Upgrade Kit), включающие в себя звуковые карты, приводы оптических дисков, разнообразные джойстики, манипуляторы в том числе и с обратной связью, микрофоны, видео web-камеры, акустические системы.

8. История появления видео на ПК

В настоящее время вычислительная техника развивается бурными темпами: всем известен закон Мура, согласно которому вычислительная мощность компьютеров удваивается каждые полтора года. Большие вычислительные мощности позволяют обрабатывать всё новые и новые типы данных на самых обычных компьютерах. пятнадцать лет тому назад сложно было представить себе хранение звуковой информации на персональном компьютере — разве что на компакт–дисках. Жёсткие диски того времени не превосходили объёма одного CD, а мощность процессора не позволяла производить достаточно сложных вычислений по распаковке звука в реальном времени. В каком–то виде звук и видео на компьютерах были — в первую очередь в компьютерных играх — однако их качество оставляло желать много лучшего.

Ситуация кардинально изменилась около 13 лет назад с повсеместным распространением процессоров поколения Pentium. Такого процессора оказалось достаточно для нормального воспроизведения звука, сжатого в формате mp3 (MPEG–1 Layer 3) — этот формат позволяет достигнуть хорошего качества звучания при потоке в 1 Мбайт/мин и практически идеального при вдвое большем потоке (сравните с 10 Мбайт/мин на аудио CD). Жёсткие диски того времени уже измерялись единицами гигабайт. Так началось повсеместное распространение mp3 и его альтернатив, которое продолжается по сей день.

Примерно в то же время цифровое видео делает первые шаги на персональных компьютерах. В силу упомянутых выше ограничений по объёмам обрабатываемой информации и мощности процессоров, тогдашнее видео выглядело ужасно: «танец квадратиков» привлекал лишь компьютерных энтузиастов. И снова ситуация изменилась кардинальным образом, когда компьютерная техника достигла определённого уровня. Лет 10 тому назад, когда винчестеры перешагнули порог в 10 Гбайт, записывающие приводы CD–R начали широко распространяться, а процессоры подобрались к рубежу в 500 МГц и обзавелись мультимедийными инструкциями MMX, 3DNow и SSE, компьютеры «доросли» до стандарта сжатия видео MPEG–4. Предыдущие версии стандарта сжатия видео MPEG обладали существенно меньшим потенциалом для использования на ПК.

Так, MPEG–1 обеспечивает относительно небольшую степень сжатия видео и звука; его реализация в стандарте Video CD предлагала разрешение картинки до 352 на 288 пикселей (что, безусловно, очень мало для качественного видео) и позволяла записать лишь около часа видео на один CD. Из преимуществ его можно назвать относительную вычислительную простоту декодирования, соответственно невысокие требования к компьютеру (133 МГц). Video CD так и не завоевали популярности у издателей видеопродукции (кинофильмов и проч.).

Стандарт MPEG–2 предлагает чуть более совершенное сжатие, его наиболее распространённая реализация в стандарте DVD обеспечивает разрешения вплоть до 720 на 576 и позволяет записать до 3—4 часов видео на один диск. Разумеется диск — это не обычный CD, а DVD. В середине 90-х годов DVD представлялся идеальным средством записи и хранения видеоинформации. Также развитие пиратства, получившего распространение в настоящее время сдерживала одна особенность DVD. Размер 2–слойного DVD составляет 8,5 Гбайт, что делало практически невозможным их копирование в эпоху жёстких дисков до 10 Гбайт.

С течением времени видео-DVD стали промышленным стандартом для записи домашнего видео: кинофильмов, концертов и т. п. Распространение DVD в качестве носителя для любительского видео, вместе с развитием пиратства и поиском новых способов передачи и продажи мультимедиа продукции с помощью цифрового вещания и интернета мы видим лишь сегодня, когда объём жёстких дисков перевалил за сотни Гигабайт, пишущие DVD приводы стали стандартом в комплектации домашних рабочих станций. MPEG2 Формат сжатия DVD видео также широко используется в цифровом телевизионном вещании, в том числе и спутниковом телевидении.

В начале 2000-х был разработан промежуточный между VCD и видео DVD формат: Super Video CD, SVCD (использует CD в качестве носителя и MPEG–2 в качестве формата сжатия видео, разрешение — 480x576, позволяет записать около 70 минут на один диск) — его качества сжатия для любительского видео вполне хватало, однако, формат погубила основная проблема всех не поддержанных Голливудом инициатив — совместимость, не все аппаратные проигрыватели были способны воспроизводить диски в таком формате.

Идеальным компромиссом между степенью сжатия (размером сжатого видео) и вычислительной сложностью декодирования видео (требования к мощности процессора) стал стандарт сжатия видео MPEG–4 (точнее подраздел этого стандарта ‘MPEG–4 video compression, advanced simple profile’). Для воспроизведения видео в этом стандарте достаточно процессора в 300—400 МГц (или больше — зависит от разрешения видео), а неплохое качество обеспечивается при сжатии 2—2,5 часов на один CD (или отличное качество при сжатии 1 часа на CD). Первой ласточкой в этой области стали кодеки Microsoft MPEG–4 v.1, v.2 и v.3. На основе последнего из них был создан кодек DivX 3 — именно с его появлением MPEG–4 видео начало своё повсеместное распространение. После этого началась разработка множества различных кодеров и пакетов для сжатия видео.

На сегодня стандарт MPEG–4 — один из самых распространённых способов хранения цифрового видео на компьютерах. MPEG–4 обеспечивает степень сжатия примерно в 2—4 раза больше, чем MPEG–2. MPEG–4 поддерживает ряд т. н. профилей (profile): simple profile (SP, разрешение до 384x288), advanced simple profile (ASP, разрешение до 720x576), advanced video coding (AVC, разрешения вплоть до 1920x1080). Фактически все современные аппаратные видео проигрыватели получают поддержку декодирования видео в формате MPEG–4 ASP.

Различные современные способы реализации кодеков стандарта MPEG–4 advanced video coding (MPEG–4 AVC, или H.264), обеспечивают ещё большую степень сжатия видео. Правда, для воспроизведения записей в MPEG–4 AVC требуются процессор с более чем 1,5 ГГц, в связи с чем различные портативные видеоплееры и цифровые устройства типа мобильных телефонов и КПК по прежнему используют стандарт mpeg-2. Однако в отрасли бытового видео (домашние кинотеатры и цифровое вещание) в настоящий момент, именно MPEG–4 AVC сменил MPEG–2 — он включён в стандарт видео высокой чёткости (HD–видео) как один из базовых форматов сжатия видео (на ряду с MPEG–2 и WMV).

9. основные принципы сжатия цифрового DV видео в формат mpeg-2 для DVD.

Видео, снятое на цифровую камеру можно хранить непосредственно в формате DV (digital video - цифровое видео). Такой вариант позволяет избежать дополнительных потерь при обработке и сжатии видео, с другой стороны — видео в формате DV занимает много места: 13 Гбайт/час. Не случайно, основной заботой видео-монтажера является освоение основного алгоритма сжатия цифрового фото и видеоизображения, а также выбор подходящего кодека.

Важно понимать, что означает термин «поток данных» (bitrate, часто используют русскую транскрипцию: битрейт). Поток данных — это количество информации в сжатом виде, приходящееся на единицу времени для какой–либо записи. Существует два способа сжатия информации: с постоянным потоком данных (CBR, constant bitrate) и с переменным потоком данных (VBR, variable bitrate). В первом варианте каждый блок данных сжатого файла (который имеет определённую длительность при воспроизведении) имеет постоянный размер — соответственно поток данных не меняется на протяжении всего файла. В случае переменного потока данных, каждый блок по выбору кодера может иметь больший или меньший размер.

С точки зрения изменения сложности для сжатия, видеоинформация существенно сложнее, чем звуковая. Статичные сцены, где из кадра в кадр меняется лишь малая часть изображения, сменяются динамичными, где во время взрывов и погонь сложно найти два одинаковых кадра. Первые реализации MPEG кодеров использовали сжатие видео с постоянным потоком данных (в частности — стандарт Video CD, MPEG–1 сжатие). Однако это давало настолько неудовлетворительные результаты, что сжатие видео с постоянным потоком данных на сегодня не используется нигде. Есть, правда, два исключения: спутниковое и цифровое теле вещание (network broadcasting). Вы же, скорее всего, всегда будете использовать сжатие видео с переменным потоком данных.

Ширина потока данных измеряется в битах в секунду или байтах в секунду. Потоки данных при работе с видео достаточно велики, потому чаще встречаются килобиты и мегабиты. Напомню, байт содержит 8 битов, килобайт содержит 1 024 байта, мегабайт равен 1 024 килобайтам, то есть 1 048 576 байтам. С битами не всё так просто: DivX Networks внесли изрядную путаницу, используя соотношение 1 кбит = 1 000 бит в своём кодере.

Эксперименты с реальными фильмами требуют заметного количества времени, поэтому основные закономерности видео-сжатия гораздо быстрее и проще проиллюстрировать на примере неподвижных изображений. Возьмите качественный "несжатый" TIFF (например, фотографию пейзажа), с достаточным количеством резких границ и мелких деталей, размером примерно 600х800. В нём цвет каждой точки кодируется отдельно, "по-честному". Это – МАКСИМАЛЬНОЕ (эталонное) качество в рамках 24-битной цветовой модели. Но человеческий глаз имеет некоторые особенности, и воспринимает не всю информацию, и поэтому можно УДАЛИТЬ (навсегда!) часть данных без заметной потери качества (так работает формат JPEG). В фотошопе попробуйте посжимать картинку с разными параметрами "качества", возьмите калькулятор и найдите соотношение размеров в мегабайтах исходного TIFF файла и JPG-а при котором искажения ещё практически незаметны. Получится коэффициент в диапазоне 10-25 в зависимости от картинки и Вашей "строгости". При большем сжатии артефакты явно заметны (цветные ореолы, квадратная структура контуров и решетка пикселей), а ведь в динамике видео это всё "безобразие" ещё и шевелится...

Что отсюда следует для видео? Разрешение видеосигнала определено TV-стандартом, его "компьютерный" аналог соответствует примерно 720х576 точек (информация о каждой такой видео-точке кодируется в нескольких десятках бит). DV-формат – представляет собой аналог JPEG-сжатия для каждого кадра видео (напоминаем – 25 в секунду, каждый кадр, разрешения 720х576, 24-битного цвета, «весит» примерно 400 килобайт), и поток его составляет 28000 кбит/сек. Таким образом, в большинстве случаев, дальнейшее покадровое сжатие DV-формата нецелесообразно, т.к. приводит к заметным артефактам.

Получается, что 20000-30000кбит/с – предел для цифрового видео? (а это всего лишь 3-4 минуты на CD-R или 20-30 минут видео на DVD) Строго говоря, для ЛЮБОГО ПРОИЗВОЛЬНОГО изображения из НЕЗАВИСИМЫХ между собой кадров - ДА! Тогда как же возможно прекрасное качество DVD (имеюшего стандартный битрейт 5000-8000 кбит/cек)? Ответ: в РЕАЛЬНЫХ фильмах последовательные кадры обычно взаимозависимы и формат MPEG-2 это активно использует. В чем же состоит его суть: Грубо говоря, мы сжимаем JPEG-ом не каждый кадр, а РАЗНИЦУ между соседними кадрами, запоминая без сжатия только ключевые кадры, в которых картинка резко меняется. Поскольку камера в ПРОФЕССИОНАЛЬНЫХ фильмах всегда стоит на штативе либо на рельсах, то зачастую изменения заднего плана незначительны либо однообразны, и поэтому легко жмутся. Динамичные же сцены (взрывы и пр.) обычно "занимают" скорость у "спокойных" кусков за счёт применения переменного битрейта (VBR).

10. Особенности основных телевизионных стандартов

Вам необходимо обеспечить совместимость используемого видеоматериала, в частности захваченного с DV видеопленки, с программным и аппаратными средствами обработки этого видео – проще говоря, с программой видеомонтажа, по используемому способу передачи видео.

В большинстве стран мира принят один из вещательных телевизионных стандартов: NTSC (Америка и Япония), PAL (Европа) или SECAM (Франция и бывший СССР). В каждой стране продаётся видео техника, способная работать с принятым в этой стране телевизионным стандартом. Если вы используете приобретённую в другой стране технику, обязательно проверьте в документации к вашему оборудованию, что ваш источник видео сигнала и карта захвата способны работать в едином телевизионном стандарте.

Существуют также подтипы ТВ стандартов, как то: PAL–B, PAL–D, PAL–G и так далее. Они отличаются не собственно способом кодирования сигнала, а его параметрами (частотами и ширинами поддиапазонов). Карты захвата обычно способны работать с любым подтипом стандарта, нужно только указать его при настройке карты: либо указывается собственно название подтипа стандарта, либо название страны, где такой подтип стандарта принят для телевизионного вещания.

Ввиду того, что стандарты PAL и SECAM очень похожи: оба передают 25 кадров в секунду и одинаково кодируют яркостную составляющую сигнала (чёрно–белое изображение), подавляющее большинство распространённой у нас видео техники способно работать с обеими стандартами — PAL и SECAM. По этой же причине видеокамеры на нашем рынке работают в стандарте PAL: рынок в странах бывшего СССР не такой уж большой, чтобы разрабатывать специальную SECAM версию; а раз все наши телевизоры и видеомагнитофоны поддерживают PAL, то это и не нужно.

NTSC использует другой способ кодирования видеосигнала, в частности передаёт 30 кадров в секунду (точнее, 29,97 — хотя существует аппаратура, работающая с частотой кадров ровно 30,00 к/сек). Большинство используемой у нас видеотехники не способно работать с NTSC.

Вам не нужно беспокоиться, если вы используете цифровой источник видео: цифровая камера сделает всё за вас. Единственная разница будет в том, что видео оцифрованное с NTSC сигнала будет содержать 30 кадров в секунду вместо 25.

11. Разрешение и чёткость изображения

Следует различать понятия разрешение — которое является характеристикой хранилища видео сигнала в цифровом виде — и чёткость, которое описывает свойства собственно видео сигнала.

Рассмотрим такой пример: нарисуем в графическом редакторе картинку, состоящую из чередующихся белых и чёрных строк.

	Пусть её размер по вертикали будет 10 строк. Мы можем сохранить это изображение в графический файл, имеющий 10 пикселей по вертикали.
	Также мы можем сохранить это изображение в файл с 20 пикселей по вертикали,…
	25 пикселей — и в каждом из них мы сможем увидеть лишь 10 линий: 5 белых и 5 чёрных.
	Если мы сохраним наше изображение в файл с 8 пикселей по вертикали, то мы сможем рассмотреть не 10 строк, а только 6: 3 белые и 3 чёрные.
	Если использовать 9 пикселей по вертикали, то останется только 8 строк (4 белые и 4 чёрные).

Таким образом, на рассмотренном выше примере мы видим, что чёткость изображения (измеряется в количестве линий) не зависит от разрешения файла (измеряется в количестве пикселей), в который это изображение записано, если только разрешение не меньше чёткости изображения. Сохранение изображения в файл с разрешением меньшим, чем чёткость изображения, приводит к уменьшению чёткости. Отсюда следуют два простых правила: с одной стороны разрешение оцифрованного видео должно быть не ниже, чем чёткость исходного видео; с другой стороны не имеет смысл хранить видео с очень высоким разрешением: чёткости это не добавит, а занимать дополнительную память будет.

12. Чересстрочное и прогрессивное видео

В настоящее время применяется два способа передачи видео: устаревший чересстрочный и более новый прогрессивный. Вещательный телевизионный сигнал по историческим причинам использует чересстрочный способ. Это означает, что кадр (frame) передаётся не целиком, а из двух половинок: сначала передаётся первый полукадр (или поле — field), который отображается в нечётные строки кадра, а потом — второй полукадр, соответственно он отображается в чётные строки.

Прогрессивный кадр содержит все строки: чётные, и нечётные. Компьютерная техника отображает изображение в прогрессивном формате. Прогрессивный кадр лишь недавно стал применяться в видеотехнике, например новые видео DVD, BluRay и HD DVD содержат кинофильмы записанные с прогрессивной развёрткой. Телевещание и подавляющее большинство современных видеокамер используют чересстрочную развёртку. Видеокамеры с прогрессивной развёрткой завоёвывают всё большую популярность, однако пока на рынке их не большинство.

13. Особенности чересстрочного видео

Следует понимать, что в ТВ сигнале или при съёмке камерой каждый полукадр содержит изображение, отснятое на 1/50 секунды позже: то есть между первым и вторым полукадром проходит 20 мс. Полный кадр составляется из двух полукадров: в нечётные строки записывается содержимое одного поля, в чётные — другого. Необходимо учитывать то, что разные полукадры могут относиться к разным моментам времени. За 20 мс, которые разделяют два полукадра, объекты в кадре могут сместиться.

При выводе прогрессивного видео с частотой 25 кадров в секунду будут заметны дефекты изображения (артефакты), которые очень часто за характерную форму называют «гребёнкой» или «расчёской».

Для устранения эффекта чересстрочности применяются специальные меры, которые называются deinterlace (произносится как «деинтерлейс»). При использовании цифрового видео записанного с телесигнала, либо видеокамеры с чересстрочной разверткой, необходимо включать в программах цифрового видеозахвата режим deinterlace. Комбинацию настроек, скорее всего придётся подбирать экспериментально.

14. Кодирование цвета в цифровом видео

Карты захвата видео предоставляют возможность сохранить поток данных в таком же виде, в каком они выходят с чипа оцифровки видео. Эти чипы выдают информацию не в привычном для компьютера формате в виде набора цветовых компонент RGB (red, green, blue), а в виде яркостной и двух цветовых составляющих (YUV). Причём для группы из двух последовательно идущих пикселей сохраняется два значения яркости и по одному значению цветовых компонент, то есть получается 4 байта (32 бита) на 2 пикселя или 16 бит на пиксель. Такой метод называют chroma subsampling, а способ записи называют кодированием цвета YUV2 (или YUYV, или 4:2:2).

Из–за особенностей человеческого зрения разницу с обычным RGB представлением увидеть практически невозможно: глаз более чувствителен к яркости, чем к цвету (точнее разрешающая способность глаза по яркости выше, чем по цвету — за счёт разной концентрации колбочек и палочек на сетчатке). Очевидно, такой нехитрый метод позволяет существенно снизить объём информации для оцифрованного видео: если сохранять привычные 24 бита на пиксель вместо 16, то потребуется в 1,5 раза больше места. Поскольку информация с карты захвата поступает уже в YUV2, нет абсолютно никакого смысла записывать на диск RGB цвет.

Для нас важно то, что такой способ представления видео информации является традиционным для цифрового видео, он используется практически всеми кодерами видео.