2.6.8. Формат файлів зображення tiif

Теговий формат файлів зображення (Tag Image File Format) був розроблений компанією Aldus Corp. TIFF являється одним дуже гнучким, але в той же час складним форматом. Він використовується на всіх популярних комп'ютерних платформах і часто вибирається в якості основного формату для сканерів. TIFF дозволяє зберігання в одному файлі декілька зображень з кольоровою роздільною здатністю від 1 до 24 біт на піксель. В цьому форматі передбачені засоби для стиснення з втратами і без втрат.

2.6.9. Формат jpeg для зберігання фотографій

Формат JPEG (JFIF/JFI/JPG) був запропонований відносно недавно Об'єднаною групою експертів по обробці фотозображень (Joint Photographic Experts Group). Основна ціль при розробці цього формату ставилося найти практичний спосіб стиснення високоякісних кольорових нерухомих зображень. Метод кодування, який застосовується в JPEG орієнтований на потокову обробку і дозволяє розробляти апаратні пристрої для стиснення і розпаковки зображень в реальному режимі часу. Зображення можуть мати розміри до 64К×64К пікселів з роздільною здатністю 24 біта. в одному файлі дозволяється зберігання тільки одного зображення. В заголовку передбачено зберігання зменшеного варіанту зображення і до 64К не спакованих байт. Важливою перевагою формату JPEG є незалежність від системи представлення світла.

Для досягнення високої степені стиснення в JPEG застосовується гнучкий але складний алгоритм стиснення з втратами. Часто він дозволяє стиснути високоякісне зображення у відношенні 20:1 без помітної втрати якості. Стиснення добре працює на зображеннях з великими областями приблизно однакового коліру і у випадках, коли для кінцевого споживача не особливо важливо високоякісні зміни в областях з дрібними деталями зображення. Крім того, в JPEG також передбачена рідко використовувана можливість використовувати стиснення без втрат, що дозволяє досягнути степеня стиснення порядку 2:1 із застосуванням алгоритму кодування з передбачуванням.

2.6.10. Файловий формат mpeg для зберігання відеоданих

Проблема "упаковки" відеопрограм супроводжувала всі етапи розвитку цифрових систем передачі інформації. Пропускна здатність комунікаційних мереж, ємність цифрових носіїв завжди відставали (і, напевно, будуть відставати) від бажання як самих мовників, так і нас - споживачів. Власне, відставання можливостей від потреб, мабуть, є рушійною силою прогресу.

Щоб міркування про необхідність упаковки даних не виглядали голослівними, проведемо простий підрахунок. Телевізійний кадр (тут і далі - стандарту PAL) містить 576 активних рядків (всього їх 625, але частина з них - службові). Відповідно до стандарту ITU-R ВТ.601 міжнародного телекомунікаційного співтовариства (ITU - International Telecommunications Union) кожен рядок містить 720 незалежних відліків. Таким чином, телевізійний кадр являє собою матрицю з 720х576 пікселів, а гранично досяжний дозвіл обмежено 700 лініями. В оцифрованому телевізійному сигналі кожен кадр являє собою точковий малюнок, де точка утворена відліком в горизонтальній рядку. Таких "малюнків" повинне проходити 25 за секунду (якщо строго - 50 напівкадрів полів, що складаються з парних і непарних рядків відповідно). Тоді інформаційний об'єм однієї хвилини цифрового відеосигналу з роздільною здатністю, відповідним мовного, і при глибині кольору 24 біта (True Color) складе 720х576 пікселів х 24 біта кольоровості х 25 кадрів / с х 60 з = 1866 Мб ... Тобто без малого 2 гігабайти. При цьому швидкість цифрового відеопотоку буде дорівнює 250 Мбіт / с. Навіть якщо поступитися якістю і розглядати удвічі гірше дозвіл по обох осях (360х288), що приблизно відповідає якості хорошої VHS-записи), обсяг хвилини відеопрограми займе 467 Мб, а відповідна швидкість цифрового потоку складе більше 60 Мбіт / с. Треба врахувати, що ми брали до уваги тільки відео, а адже кожен фільм має і звуковий супровід. Виходить, що все одно такий сигнал залишиться занадто громіздким для прямого використання навіть в сучасних комунікаціях чи на сучасних носіях.

В кінці 80-х - початку 90-х років єдиним цифровим носієм, придатним для масового тиражування, був компакт-диск ємністю 650 Мб, а швидкість цифрового потоку при його відтворенні становила порядку 150 кб / с (1,2 Мбіт / с); пропускна спроможність комунікаційних мереж не перевищувала 3 Мбіт / с. Проблема

Як це вирішили.

Керуючись подібними орієнтирами, група фахівців міжнародної організації по стандартизації (ISO) в 1998 р. приступила до розробки міжнародних стандартів кодування і стиснення відео-та аудіоінформації. Офіційне найменування цій групі було дано абсолютно невідтворювані - ISO/IECJTC1 SC29 WG11. Згодом вона стала відома як "Експертна група з кінематографії" (Moving Picture Expert Group), а абревіатура MPEG, утворена від англійського варіанта повсякденній назви цієї групи, давно вже використовується як позначення розроблених нею норм і стандартів.

В основу правил стиснення відеоданих була закладена ідея пошуку та усунення надлишкової інформації, не впливає на кінцеве сприйняття якості зображення. В першу чергу, був врахований "людський фактор" - психофізіологічна модель сприйняття людиною відеозображень (HVS - Human Visual Sense); зокрема, той факт, що градації яскравості сприймаються зоровим апаратом людини значно тонші, ніж градації кольору. Це означає, що колірну інформацію можна "загрубіти" у порівнянні з яскравістю, при цьому в суб'єктивному сприйнятті якість зображення не погіршиться. Тобто першочерговим напрямом у побудові алгоритмів всіх стандартів MPEG стає відшукання і усунення інформації, надлишкової з точки зору суб'єктивного сприйняття.

Що з цього вийшло.

Працювала експертна група дуже плідно: за десятиліття розроблено ціле сімейство стандартів; більше того, майже всі вони живуть і успішно працюють. Найкращим свідченням цього служить той факт, що абревіатури MPEG і МР стали повсякденними на побутовому рівні. Навіть споживач співвідносить ці "імена" не зі стандартними іменами або їх розробниками, а з мультимедіа продукцією. Але будемо хронологічно точні, і простежимо найбільш важливі етапи становлення MPEG.

MPEG1

Перший стандарт з'явився в 1992 р. і був розрахований на передачу відео з низькошвидкісними мереж або для запису на компакт-диски (Video-CD). Як ви, напевно, зрозуміли, максимально можлива швидкість цифрового потоку була спочатку обмежена порогом в 150 кб / с (одношвидкісний CD-ROM або стандартний аудіопрогравач компакт-дисків). Перші відеодиски та супутникові телепередачі у форматі MPEG1 здавалися дивом - фільм можна дивитися при такій низькій швидкості потоку! Щоб вкладеться в задані рамки, звичайно, довелося поступитися якістю. У MPEG1 роздільна здатність картинки знижена, у порівнянні з розгорткою мовного телебачення, в 2 рази по обох осях: 288 активних рядків у ТВ-кадрі і 360 відліків в активній частині ТВ-рядки. В принципі, це дозвіл близько до рівня до формату аналогової VHS-відеозапису.

MPEG2

Час йшов, і прогрес в області цифрових технологій зажадав (або дозволив?) Істотно удосконалити процес компресії відеоданих. Так з'явився новий стандарт MPEG2, робота над яким, власне, почалася відразу після виходу MPEG1 і завершилася в 1995 р.

"Другий" MPEG не приніс революційних змін, це - цілком революційна доробка старого стандарту під нові можливості техніки та нові вимоги замовників - найбільших компаній mass-media. MPEG2 призначався для обробки відеозображення, сумірного за якістю з телевізійним мовним, при пропускній здатності каналів передачі даних від 3 до 15 Мбіт / с. Зараз стандарт MPEG2 асоціюється у переважної більшості читачів і глядачів з DVD-дисками.

З появою ж в середині 90-х рр.. цифрового багатоцільового диска DVD (Digital Versatile Disk, Digital Video Disk), що володіє в найпростішої - односторонньої і одношарової - версії ємністю 4,7 Гб (майже в 8 разів більше CD), він, природно, стає практично безальтернативним масовим носієм для розповсюдження якісної продукції , стислій за стандартом MPEG2. Це зумовило масове виробництво бюджетних DVD-програвачів і, звичайно, поява недорогих апаратних кодерів / декодерів. На стандарті MPEG2 зараз побудовані всі системи цифрового супутникового телебачення, зокрема, система "НТВ +". На ньому ж грунтуються ефірні системи цифрового телемовлення DVB, одержуючі все більш широке поширення у ряді країн Західної Європи і в США. У професійної студійної апаратурі для реалізації цифрового нелінійного монтажу використовується версія EDITABLE MPEG, у якій всі кадри ключові, а швидкість потоку в форматі 4:2:2 досягає 50 Мбіт / с.

MPEG3

Перш за все, не слід змішувати з широковідомим форматом компресії звуку МР3. Стандарт MPEG3 спочатку розроблявся для використання в системах телебачення високої чіткості (High Definition Television, HDTV) зі швидкістю потоку даних 20-40 Мбіт / с. Але ще в процесі розробки стало ясно, що параметри, які вимагаються для передачі HDTV, цілком забезпечуються використанням стандарту MPEG2 при збільшеній швидкості цифрового потоку. Іншими словами, гострої потреби в існуванні окремої стандарту для HDTV немає. Таким чином, MPEG3, ще не народившись, став фактично складовою частиною стандарту MPEG2 і окремо тепер навіть не згадується.

MPEG4 У новому стандарті MPEG4, що з'явилося у самому кінці 1999 р., запропонований більш широкий погляд на медіа-реальність. Стандарт задає принципи роботи з контентом (цифровим представленням медіа-даних) для трьох областей: власне інтерактивного мультимедіа (включаючи продукти, розповсюджувані на оптичних дисках і через Інтернет), графічних додатків (синтетичного контенту) і цифрового телебачення (DTV). Фактично даний стандарт задає правила організації середовища, причому середовища об'єктно орієнтованої. Він має справу не просто з потоками і масивами медіа-даних, а з медіа-об'єктами (ключове поняття стандарту). В MPEG4 визначений подвійна мова опису об'єктів, класів і сцен BIFS, що розроблювачі характеризують як "розширення С + +". Крім роботи з аудіо-та відеоданими, стандарт дозволяє працювати з природними і синтезованими комп'ютером 2D-і 3D-об'єктами, робити прив'язку їхнього взаємного розташування і синхронізацію друг щодо друга, а також вказує їхня інтерактивна взаємодія з користувачем.

а) нерухомі картинки (наприклад, фон);

б) Відеооб'єктив (наприклад, провіщає людина);

в) аудіооб'екти (голос, пов'язаний з цією людиною);

г) текст, пов'язаний з цією сценою;

д) синтетичні об'єкти, яких не було спочатку в описуваної сцені, але які туди додаються при демонстрації кінцевому користувачеві (наприклад, синтезується мовець голова);

е) текст (наприклад, пов'язаний з головою), з якого в кінці синтезується голос.

Особливу увагу приділимо досить вузької області додатка стандарту MPEG4 - стисненню відеоматеріалів, оскільки саме ця область, швидше за все, на практиці добре відома значному числу користувачів-глядачів по абревіатурі MР4 (так умовно позначають фільми, стислі кодером за стандартом MPEG4). Алгоритм компресії відео, в принципі, працює за тією ж схемою, що і в попередніх стандартах, але є кілька радикальних нововведень. На відміну від колишніх стандартів, які ділили кадр на квадратні блоки незалежно від вмісту, новий кодер оперує цілими об'єктами довільної форми. Наприклад, людина, що рухається по кімнаті, буде сприйматися як окремий об'єкт, що переміщається щодо іншої нерухомого об'єкта - заднього плану. Також застосований "інтелектуальний" спосіб розстановки ключових кадрів. Ключові кадри не розставляються із заданою регулярністю, а виділяються кодером тільки в ті моменти, в які відбувається зміна сюжету. Природно, розгалужені алгоритми пошуку й обробки об'єктів складної форми, поглибленого аналізу послідовностей кадрів вимагають істотно великих обчислювальних ресурсів для якісного відновлення (декомпресії) зображення цього формату, ніж у випадку MPEG1 і -2. На щастя, продуктивність сучасних процесорів дозволяє обійти цю перешкоду. В результаті удосконалення ефективності компресії відео в MPEG4 зросла настільки, що дозволяє розміщувати повнометражний фільм тривалістю півтори-дві години з вельми пристойною якістю всього на одному стандартом компакт-диску (650 Мб)! Втім, не варто плекати ілюзій з приводу рекламованого "DVD-якості" MPEG4-продукції. Слід пам'ятати, що, наскільки досконалим не є кодер, завжди існує обмеження на мінімальний розмір (потік) стиснутого відео. Тому фільми в MPEG4, розміщені навіть на двох компакт-дисках (2х650 Мб), все-таки не дотягують до якості DVD-відео в стандарті MPEG2.

Особливу увагу приділимо досить вузької області додатка стандарту MPEG4 - стисненню відеоматеріалів, оскільки саме ця область, швидше за все, на практиці добре відома значному числу користувачів-глядачів по абревіатурі MР4 (так умовно позначають фільми, стислі кодером за стандартом MPEG4). Алгоритм компресії відео, в принципі, працює за тією ж схемою, що і в попередніх стандартах, але є кілька радикальних нововведень. На відміну від колишніх стандартів, які ділили кадр на квадратні блоки незалежно від вмісту, новий кодер оперує цілими об'єктами довільної форми. Наприклад, людина, що рухається по кімнаті, буде сприйматися як окремий об'єкт, що переміщається щодо іншої нерухомого об'єкта - заднього плану. Також застосований "інтелектуальний" спосіб розстановки ключових кадрів. Ключові кадри не розставляються із заданою регулярністю, а виділяються кодером тільки в ті моменти, в які відбувається зміна сюжету. Природно, розгалужені алгоритми пошуку й обробки об'єктів складної форми, поглибленого аналізу послідовностей кадрів вимагають істотно великих обчислювальних ресурсів для якісного відновлення (декомпресії) зображення цього формату, ніж у випадку MPEG1 і -2. На щастя, продуктивність сучасних процесорів дозволяє обійти цю перешкоду. В результаті удосконалення ефективності компресії відео в MPEG4 зросла настільки, що дозволяє розміщувати повнометражний фільм тривалістю півтори-дві години з вельми пристойною якістю всього на одному стандартом компакт-диску (650 Мб)! Втім, не варто плекати ілюзій з приводу рекламованого "DVD-якості" MPEG4-продукції. Слід пам'ятати, що, наскільки досконалим не є кодер, завжди існує обмеження на мінімальний розмір (потік) стиснутого відео. Тому фільми в MPEG4, розміщені навіть на двох компакт-дисках (2х650 Мб), все-таки не дотягують до якості DVD-відео в стандарті MPEG2.

MPEG7

Остання, випущена в кінці минулого року розробка - новий стандарт MPEG7 - зовсім не є безпосереднім продовженням лінійки MPEG-попередників, хоча по предмету стандартизації частково перегукується з ними. MPEG7 повинен забезпечувати формалізацію та стандартизацію описи різних типів мультимедійної інформації (а не її кодування), щоб гарантувати ефективний і швидкий її пошук. Офіційно новий стандарт називають Multimedia Content Description Interface - інтерфейс опису мультимедійних даних. У ньому визначено стандартний набір дескрипторів ("опісивателей") для різних типів мультимедіа-інформації. Тут також стандартизується спосіб визначення своїх дескрипторів і їх взаємозв'язку (Description Schemes). Для цих цілей в MPEG7 вводиться спеціалізовану мову DDL (Description Definition Language - мова опису визначень). Основна мета застосування нового стандарту - ефективний пошук мультимедійної інформації (природно, спеціалізованими пошуковими машинами) аналогічно тому, як зараз ми можемо знайти текст по яким-небудь ключовими словами або фразі.

Пояснимо на прикладах.

Музика: Зігравши кілька нот на клавіатурі, можна отримати список музичних творів, які містять таку послідовність звуків.

Графіка: Намалювавши ескіз на екрані, отримаємо набір малюнків, що містять подібний фрагмент.

Картини: Визначивши об'єкт (задавши його форму і текстуру), отримаємо перелік картин, що містить такої.

Відео: Задавши відповідний об'єкт і його рух, отримаємо набір відео або анімаційних роликів.

Голос: Задавши фрагмент голосу співака, отримаємо набір пісень та відеокліпів, в яких він співає.

Порівняння форматів файлів зображення

В Табл.1 приведені дані для порівняння деяких популярних форматів зображення по критерію файлового об'єму. Виконуючи перетворення між файловими форматами в різних послідовностях, можна для одного і того ж зображення отримати файли різного розміру.

Таблиця 1. Розмір файлів (в байтах) з одними і тим ж зображеннями, зберігається в різних форматах. Це напівтонове зображення слова "Ні" розмірами 8×16 пікселів, а також кольорове зображення автомобіля розмірами 347×487.

Формат файлу зображення	Кількість байт в зображенні "Ні"	Кількість байт в зображені "Cars"
PGM	595	509,123
GIF	192	138,267
TIF	918	171,430
PS	1,591	345,387
HIPS	700	160,783
JPG (без втрат)	684	49,160
JPG (з втратами)	619	29,500

Пояснимо таблицю. Зображення з автомобілем "Cars", було отримано за допомогою сканера. Об'єм файлу складав 509,123 байти. Після цього було перетворено це зображення в 256-кольоровий формат GIF, далі TIF і так далі.

З зображені TIF-файлі пікселі представлені значеннями з меншою кількістю біт, ніж першочерговому файлі зі сканера. Проте при відображені на дисплеї суттєвої різниці не помітно.

Як видно, формат JPG займає саме менше місця, але за такий результат потрібно розплачуватися великими обчислювальними затратами на розпаковку зображення.

Рис. 1. Складна сцена з великою кількістю елементів на картинці, що полегшує зорове сприйняття глибини об'єкту.

Особливості і проблеми отримання зображень звичайних сцен

Велика кількість кольорів, а не всі камери можуть сприймати нормально - аби вирішити потрібно ставити фільтр.

Для об'єктів які рухаються - використовувати страбоскопічними джерелами світла, які включають на дуже короткий проміжок часу. При цьому зображення буде здавати нерухомим.

П'ять систем координат

Системи координат необхідні і для якісного, і для кількісного аналізу трьохмірних сцен. В загальному випадку в задачах аналізу трьохмірних сцен використовується п'ять різних системи координат. Прикладами вирішуваних задач являються керування роботизованим виробничим модулем, який має зорову систему чи формування віртуального трьохмірного середовища для спілкування людей.

Деякі системи координат використовуються не тільки в робототехніці, але також є важливими для розуміння особливостей людського просторового сприйняття психологами. На Рис. 2 показані 5 систем координат. Насправді, показано 6 систем координат, так як в сцені присутні 2 різних об'єкти - блок і піраміда, з кожним із яких зв'язана своя власна об'єктна система координат.

Рис.2. П'ять систем координат, які використовуються при аналізі трьохмірних сцен: світова система координат W, об'єктна O, система координат камери C, дійсна система координат F і піксельна система координат зображення I.