Обработка сигналов в среде Мультимедиа

Назначение и возможности технологии Мультимедиа

Мультимедиа — своеобразное слово-лозунг, используемое в самых различных случаях, часто в рекламных целях. Эквивалентом данного слова является термин «много сред коммуникаций». В этом смысле термином «Мультимедиа» можно обозначить любую интеграцию более чем двух автономных сред коммуникаций, например таких, как компьютер, факс и модем.

При более точном толковании термин «Мультимедиа» означает, что человек одновременно и наиболее рационально использует для связи с окружающим миром по возможности все свои органы чувств, по крайней мере, такие важнейшие для приема и переработки информации, как зрение и слух. При этом связь может осуществляться как с партнером (человеком), так и с какой-либо технической системой. Иначе говоря, Мультимедиа — это ориентированный на человека интерфейс, связывающий его с компьютером как универсальным или всеобъемлющим устройством, являющимся сегодня важнейшим звеном телекоммуникационной системы.

До настоящего времени отдельные технические средства телекоммуникации, такие, как телефон, ЗВ, звуковоспроизведение, передача данных (сети ЭВМ), передача текстов (электронная почта, телефакс, Internet), ТВ-вещание, передача неподвижных и движущихся изображений, все еще более или менее отделены друг от друга. При использовании технологии мультимедиа эти виды технических средств, используемые для передачи разнородной информации, объединяются на общей цифровой основе, позволяющей создать новую среду, включающую персональный компьютер, проигрыватель компакт-дисков, радиоприемник, телевизор, факс, видеотелефон с автоответчиком. Независимо от того, состоит ли передаваемая в этой среде информация из чисел, текста, графики, неподвижных и движущихся изображений со звуком или только из звуковой информации, ее можно будет создать, рассчитать, изменить, передать, принять, накопить, воспроизвести, стереть и т.п.

Существует много сфер деятельности, где человек мог бы использовать средства мультимедиа. В самом общем виде их можно разделить на три части:

1. Передача и прием информации (сообщений). К одному или нескольким приемникам можно будет передать любую информацию акустического, визуального или абстрактного типа, которую позже эти приемники обнаружат и используют. Сюда же относится также добывание мультимедийной информации из банков данных, причем содержащих не только печатную продукцию, но и подвижные изображения и звуки. При этом продолжительность передачи не будет играть существенной роли.

2. Представление информации. Пользователь сам сможет регулировать, в каком виде и форме ему будет представлена информация из посланных сообщений и банков данных: в акустическом виде, в виде текста или изображения, в качестве изменяющейся картинки или любой комбинации этих зависящих либо независящих от времени видов. При этом имеющиеся в распоряжении пользователя технические средства и компьютерные программы помогут ему отфильтровать и отсортировать информацию, исходя из своих представлений (информационное самоопределение). Кроме того, информация, представленная или подготовленная в одной форме с помощью программного обеспечения, сможет быть преобразована в другую, по возможности более компактную и наглядную форму.

3. Связь пользователей в реальном масштабе времени. Люди, находящиеся в разных местах, благодаря мультимедийным средствам телекоммуникаций смогут не только видеть и слышать друг друга, но также одновременно работать над документами (официальными бумагами, чертежами, рисунками, акустическими сигналами и т.п.). Таким образом, несмотря на то, что участников разделяет пространство, между ними возможна кооперация, совместная работа. Связь в реальном масштабе времени и одновременная работа пространственно разнесенных участников требуют не только записи и воспроизведения информации на рабочем месте в удобной для человека форме, но и средств для ее передачи с высокой скоростью.

Итак, технология мультимедиа обеспечит эффективные, универсальные рабочие места, которые создадут удобную для человека среду, привычную рабочую атмосферу для участников, разделенных в пространстве. В этой пространственно разнесенной среде использование зрения и слуха не будет неестественно ограничено. При этом мобильные слушатели, перемещающиеся по территории, будут иметь возможность для передачи и приема разнородной информации. Конечно, совсем необязательно, чтобы каждое рабочее место было оборудовано всем набором мультимедийных средств обработки, хранения, передачи и воспроизведения информации. Однако интеграция различных, пока еще изолированных телекоммуникационных служб, а также радиовещания, телевидения, компьютерных сетей будет возрастать на общей цифровой основе. Другое применение технологии мультимедиа имеет место в так называемых системах виртуальной реальности. Кажущаяся действительность возникает за счет объединения реальных изображений и изображения, созданного компьютером, т.е. речь идет о комбинации реальных и синтетических изображений в одном видеоряде. Чтобы, например, изобразить картины с живыми существами, соответствующие им сигналы сначала преобразуют в цифровую форму. При этом можно рассчитать также промежуточные картины для создания движущегося изображения. При показе на дисплее компьютера подвижного ряда изображений необходимо вычисление двумерного изображения, освещаемого источником света для создания игры тени и света. В ряде мультимедиа может происходить достоверное представление реальных или созданных компьютером живых существ в реальных или искусственных мирах. При этом искусственные живые существа можно «пробудить к жизни», создав иллюзию того, что они являются живыми, реально существующими персонажами разворачивающегося действия. Типичными примерами применения такой компьютерной технологии мультимедиа являются такие фильмы, как «Парк Юрского периода», где искусственные динозавры действуют вместе с реальными актерами, и «Форрест Гамп», в котором живой актер действует вместе с уже умершими людьми, о действиях которых имеется ранее при их жизни сделанная видеозапись.

С другой стороны, с помощью дополнительных устройств становится возможным создание пользователю впечатления, что он входит в сформированное компьютером помещение и движется в нем, поворачивая голову, и видит определенные меняющиеся планы. Система пространственного видения и слушания (созданная с помощью стереонаушников и стереоочков) регистрирует (отображает) любое движение головы и даже движение глаз и создает сообразно с этим изменяющимся направлением взгляда новые компьютерные изображения и сопутствующие звуковые сигналы. Типичным применением технологии мультимедиа может стать архитектура, где появляется возможность «увидеть» здание, сконструированное с помощью ЭВМ, и войти в него. Таким образом, каждый пользователь может перемещаться в построенных с помощью компьютера мирах. Если скомбинировать эту систему виртуального видения и слышания с «перчаткой данных руки», имеющей соответствующие датчики, то с помощью специальных чувствительных элементов можно регистрировать и идентифицировать любое движение руки человека. При хватании любого виртуального предмета «перчатка данных руки» выдает ощущение тяжести или легкости этого предмета, его твердости или мягкости, теплоты, холодности, то есть совокупность тех ощущений, которые возникают у человека при хватании реального предмета.

«Перчатка данных» может быть расширена до «костюма данных», если чувствительными элементами будут регистрироваться изменения состояния всего тела, например будет чувствоваться касание к предмету благодаря датчикам давления. Таким образом, отображение действий реального живого существа происходит с помощью трехмерного сканера, т.е. все движения человека в помещении регистрируются и записываются. Подобный трехмерный сканер может работать в полосе частот ТВ-сигнала, если видеокамеры записывают вызываемые движением человека позиционные изменения. При этом измерительные датчики закрепляются на самых важных местах «костюма данных».

Таким образом, можно передать движение реального человека по направлению к управляемому компьютером виртуальному человеку. В другой ситуации движение может передаваться роботу, который работает во враждебном окружении. В том случае, когда робот и человек оснащены соответствующими датчиками, человек может, например, не только видеть и слышать, но также и чувствовать то, что делает робот, а также соответственно управлять им с помощью собственных движений.

В виртуальном мире люди, находящиеся в различных местах и связанные сетью передачи данных, смогли бы вместе двигаться и действовать в нем. В этом смысле задуманы виртуальные бюро, где несколько человек (виртуально) работают друг с другом.

В конечном итоге, связь между находящимися на расстоянии людьми могла бы быть с передачей не только зрительной, но и звуковой информации. В это взаимодействие могут быть вовлечены и другие органы чувств человека — вкус и обоняние.

Технология мультимедиа станет основой для распространения разнородной информации в XXI веке, так как ожидается значительный рост информационных услуг.

Технические требования к технологии мультимедиа

Реализация всех возможностей технологии мультимедиа требует не только значительных затрат при организации рабочего места пользователя, но и больших объемов памяти для записи, хранения и последующей обработки разнородной информации, поступающей по телекоммуникационным каналам цифровых данных. Кроме того, как уже было упомянуто ранее, нужно иметь каналы с большой пропускной способностью в том случае, если должна быть выполнена передача массива данных в масштабе реального времени.

Полоса частот передачи значительно увеличивается, если в масштабе реального времени будет передаваться не только аудиовизуальная, но также зрительная информация и информация о движении изображения. Ниже будут рассмотрены объемы данных, которые поступают в канал при преобразовании в цифровую форму изображений (графиков, фотографий, движущихся изображений), а также сопутствующих им ЗС. Для хорошей разрешающей способности цветного неподвижного изображения (качество хорошей фотографии) необходимо иметь 3072x2048 точек изображения (элементов изображения — Pixel). Если для кодирования трех основных цветов — красного, зеленого, голубого — используется по 8 битов (1 байт), то сигнал изображения уже имеет объем в 3072x2048x24 = 144 Мбит или 18 Мбайт.

В видеоформате YUV в каждой строке имеется 720 Y-зна-чений отсчетов сигнала изображения с разрешающей способностью по яркости 8 бит и соответственно 360 U- и V-значений отсчетов с необходимым разрешением по цвету 8 бит. При 625 строках (PAL/SECAM) и передаче 25 кадров в секунду это дает в итоге поток данных со скоростью около 172 Мбит/с. Для телевидения высокой четкости (HDTV) с 1920x1152 элементами (точками на кадр) и передаче 50 кадров в секунду скорость передачи данных уже составляет около 2,5 Гбит/с.

Цифровой стереосигнал с частотой дискретизации 48 кГц и линейным квантованием с разрешением 16 бит/отсчет дает скорость передачи данных 1,5 Мбит/с. Для компакт-диска скорость передачи данных составляет 1636 Мбит/с.

Итак, при преобразовании информационных видео- и аудиосигналов в цифровую форму возникает большой объем цифровых данных и требуемая для их передачи пропускная способность канала связи оказывается очень высокой. Отказаться от преобразования сигналов в цифровую форму нельзя, так как только в цифровой технике возможно многократное копирование сигнала и его разнообразная обработка без потери качества.

Имеющиеся в распоряжении дешевые цифровые сети, например ISDN, допускают скорость передачи данных n64 кбит/с, максимально до 2 Мбит/с. Через них можно передать без сжатия данных лишь стереосигнал, но не видеосигнал. Передача одного фотоизображения продлилась бы почти 75 секунд. Более высокие скорости передачи предлагают сети VBN с пропускной способностью 140 Мбит/с или широкополосные ISDN сети на 155 Мбит/с. Но их использование для обычного рабочего места с технологией мультимедиа слишком дорого. Например, было бы желательным видеоконференции проводить с использованием линии ISDN, где качество при передаче сигналов изображения соответствует сегодняшнему телевидению.

В качестве доступной по цене накопительной памяти предлагается компакт-диск (КД). В режиме 1 (2048 бит полезных данных/сектор, максимальное число секторов 333000/КД) можно накопить до 650 Мбайт цифровых данных. Тем самым один КД мог бы содержать до 36 изображений. Чтение КД можно выполнять со скоростью лишь 600 кбайт/с. Это означает, что для чтения одного изображения с КД требуется свыше 30 с. Видеосигналы, представленные в стандарте МККР, можно накопить до длины 30 с. Но их нельзя будет считывать с КД в масштабе реального времени. Данные должны были бы непосредственно считываться с видеопамяти, поскольку шина персонального компьютера не может работать с требуемой для передачи в реальном времени скоростью. Лишь стереоаудиоданные с частотой дискретизации 44,1 кГц можно без проблем считывать с накопителя на магнитных дисках или КД. Процесс накопления таких данных может длиться до 74 мин. В режиме СД-ДА можно считывать 75 секторов с емкостью 2352 байта каждый или 176400 байт/с. Это соответствует скорости передачи данных около 1,36 Мбит/с (поток данных с качеством компакт-диска).

Из изложенного следует, что совместная передача и накопление цифровых данных, соответствующих видео- и аудиосигналам, становятся возможными лишь при значительном сжатии этих данных. Если удастся поток данных со скоростью 172 Мбит/с для видеосигнала, включая 1,5 Мбит/с для аудиосигнала, сжать в общей сложности до значения 1,5 Мбит/с, то лишь тогда можно использовать канал ISDN для их передачи, а компакт-диск для их накопления. Подобное сжатие достигается MPEG-стандартом, который уже рассматривался ранее применительно к аудиосигналу.

Способ компрессии аудиоданных

В стандарте MPEG-1 для ЗС приняты частоты дискретизации 32, 44.1 и 48 кГц, в MPEG дополнительно введены частоты дискретизации 16, 22,05 и 24 кГц. Скорость передачи потока данных в MPEG-1 изменяется от 32 до 448 кбит/с, в то время как стандарт MPEG-2 допускает и более низкие скорости передачи данных — до 8 кбит/с. Будущий стандарт MPEG-4 позволит вести передачу цифровых данных с еще более низкой скоростью.

Стандартом MPEG-1 предусматриваются три различных метода кодирования аудиосигналов: «Layer-1», «Layer-2» и «Layer-3», реализующих разную степень компрессии аудиоданных. Во всех случаях реализуется метод субполосного кодирования, когда аудиосигнал расщепляется на 32 одинаковые по ширине частотные полосы, в каждой из которых прежде всего выполняется понижение частоты дискретизации в 32 раза. Квантование отсчетов ЗС происходит с учетом психоакустической модели, в которой учитываются характеристики маскировки человеческого слуха. Квантованные значения отсчетов ЗС, коэффициенты масштабирования и другая информация о кодировании образуют группу данных, с адаптивным распределением битов по субполосам. В группе данных (аудиофрейме) определена лишь их структура, но не содержание, например вид психоакустической модели, используемой при кодировании отсчетов выборки ЗС.

Наиболее высокое разрешение по частоте и лучшее энтропийное кодирование с заранее определенными таблицами Хоффмана реализовано в «Layer-3».

Стандарт MPEG-2 (ISO/IEC 13818-3) содержит в сравнении с MPEG-1 многоканальное кодирование сигналов окружения (Surround). Наряду с каналами Л и П стандарт MPEG-2 поддерживает также центральный фронтальный канал С и два канала пространственного звучания LS и RS (3/2 формат), а также другие форматы воспроизведения ЗС, например 3/1, 3/0, 2/2, 2/1, предусмотренные документом 10/63Е, и канал сверхнизких частот (Low frequency enhancement — LFE). Эта новая по сравнению с MPEG-1 стандартом информация размещается в части блока дополнительных данных, определенного в MPEG-2, так что поток данных остается совместимым с MPEG-1. Декодирующее устройство MPEG-1 может просто игнорировать эти дополнительные данные. В то же время декодирующее устройство стандарта MPEG-2 может перераспределять путем последующего матрицирования моно- и стереоинформацию кодирующего устройства MPEG-1 на многоканальный вывод.

Таким образом, декодирующее устройство стандарта MPEG-1 может перерабатывать стереоинформацию кодирующего устройства MPEG-2. В свою очередь, декодер стандарта MPEG-2 может воспроизвести моно- и стереоинформацию кодирующего устройства MPEG-1.

Способ компрессии видеоданных

В этом разделе рассмотрено сжатие видеоинформации, которое требуется для реализации технологии мультимедиа. При кодировании сигналов изображений необходимо удалить избыточную информацию, и тогда, возможно, будет достигнуто требуемое для передачи сигналов изображения сжатие.

Для кодирования неподвижных изображений имеется стандарт JPEG. Сжатие данных изображения достигается применением 8x8 дискретного косинусного преобразования (Diskrete Cosinus Transformation — DCT) и специального квантования. При этом учитывается свойство зрения, заключающееся в том, что человек воспринимает с меньшими помехами шумы квантования при высоких пространственных частотах, чем при низких. Поэтому высокочастотные коэффициенты преобразования DCT квантуются более грубо. Для их кодирования используется адаптивная дифференциальная ИКМ, причем 64 коэффициента преобразования блока картинки кодируются с помощью таблиц Хоффмана, где для кодирования коэффициентов DCT используются кодовые слова разной длины: более короткие для часто встречающихся коэффициентов и более длинные — для редко встречающихся. Таким образом, может быть достигнута компрессия потока цифровых видеоданных в пределах от 8:1 до 18:1.

Для кодирования подвижных изображений прежде всего был расширен стандарт JPEG. В его разновидности M-JPEG отдельно кодируется каждое видеоизображение. Таким образом достигается сжатие в пределах от 20:1 до 50:1 и даже более. Недостатком модифицированного стандарта M-JPEG является то, что процедура кодирования сжатых сигналов очень трудоемка. Кроме того, с увеличением степени сжатия значительно ухудшается качество изображения.

Лучшие результаты дает стандарт MPEG (ISO/IEC 11172-2 и 13818-2), который тоже использует для сжатия корреляцию сигналов внутри кадра и при смене кадров. Коэффициенты преобразования DCT, во-первых, подвергаются локальной пространственной обработке, при которой используется корреляция данных внутри кадра изображения. Кроме того, коэффициенты разных кадров изображения подвергаются временной обработке, которая использует похожесть следующих друг за другом кадров изображения (картинок). После двух ступеней обработки происходит адаптивное квантование, а потом кодирование коэффициентов DCT кодовыми словами переменной длины, при котором редким высоким амплитудным значениям соответствуют длинные кодовые слова, а частым маленьким амплитудным значениям — короткие кодовые слова. Дальнейшее сжатие достигается благодаря тому, что через регулярные интервалы времени передается полная информация о кадре изображения (картинке), подвергнутая сжатию путем двухступенчатой обработки коэффициентов DCT, а в промежутках вся необходимая информация вычисляется через предсказание. Дополнительное сжатие при этом осуществляется также благодаря интерполяции информации о цвете.

Заметим, что процедура кодирования становится здесь более трудоемкой, а декодирование компрессированных данных — наоборот более простым в сравнении с методом M-JPEG. Поэтому кодирование осуществляется с помощью специального аппаратурного обеспечения (Hardware), в то время как декодирование компрессированных видеосигналов может происходить с помощью программного обеспечения (Software). В стандарте MPEG-1 (ISO/IEC 11172-2) достигается сжатие видеоданных от 50:1 до 200:1, так что для передачи видеосигнала необходима скорость 1,2 Мбит/с. В этом случае видеоинформацию на видеокомпакт-диск можно записывать длительностью не 39 секунд, а 50...60 мин. Если дополнительно к этому использовать способ записи с повышенной плотностью, то становится возможным записать игровой фильм с длительностью показа 120...150 мин.

Более эффективное сжатие цифровых видео- и аудиоданных обеспечивает стандарт MPEG-2 (ISO/IEC 13818-2 и 3).

Следует отметить, что оба указанных стандарта определяют лишь синтаксис и семантику потока цифровых данных. При этом скорость передачи данных сжатого сигнала может быть как постоянной, так и переменной. Пока соблюдаются определенные правила синтаксиса, различные декодеры и кодеры с разной степенью компрессии цифровых данных могут меняться местами. Сигналы, которые создаются кодирующим устройством MPEG-2, могут обрабатываться декодирующим устройством MPEG-1. Процедура декодирования в обоих стандартах жестко регламентирована в отличие от процедуры кодирования, где имеется определенная степень свободы при обработке данных.

Мультимедийные авторские системы

Данные системы представляют собой изделия с соответствующим программным обеспечением. С их помощью можно без дополнительного программирования сгруппировать различные видео- и аудиоданные, обрабатывать их, архивировать, выполнять различные презентации. Для презентации, кроме программного обеспечения (Software), требуется также соответствующее аппаратное обеспечение (Hardware), которое в масштабе реального времени восстанавливает сжатые данные в накопительной среде и затем выводит их на экран монитора или соответственно на громкоговоритель системы воспроизведения.

Обработка видеоизображений от их введения в компьютер до анимирования (оживления) и составляет основное содержание программного обеспечения мультимедийных авторских систем. Перевод объекта из одной формы в другую (оживление) происходит через оценку начальной и конечной форм с помощью специальных вспомогательных линий и точек маркировки, определяющих диапазон и скорость преобразования изображений. При этом все промежуточные изображения (кадры) рассчитываются программным способом.

Контрольные вопросы

1. Зачем вводят предыскажения при цифровой передаче?

2. Какие методы повышения помехозащищенности ЗС используются в ЗВ?

3. В чем состоит обнаружение и исправление ошибок при передаче цифровых ЗС? Поясните особенности каждого из применяемых методов.

4. Сравните между собой методы маскирования ошибок.

5. Назовите источники искажений цифровых сигналов при изменении их формата.

6. Опишите алгоритм компрессии аудиоданных, основанный на учете свойств слуха.

7. Поясните основные форматы цифровых ЗС.

8. Поясните особенности стандартов MPEG-1 и MPEG-2. Сравните их между собой. Нарисуйте форматы кодов при данных способах передачи ЗС.

9. Что такое аудиофрейм, чем отличается его структура в стандартах MPEG-1 и MPEG-2?