- •Министерство образования и науки российской федерации
- •Введение
- •Модуль 2. Виртуальная реальность, создание мультимедиа продуктов, применение мультимедиа технологий в образовании
- •Глава 2. Виртуальная реальность и другие комбинированные среды цели
- •2.1. Основные понятия и определения
- •2.1.1. Понятие виртуальной реальности
- •2.1.2. Определения и восприятие вр
- •2.1.3. Измерения вр
- •2.1.4. Классификация систем вр
- •2.2. Появление и разработки систем вр
- •2.3. Компоненты и аппаратура среды вр
- •2.3.1. Способы отображения
- •4.3.2. Классы и примеры устройств отображения
- •2.3.2. Передвижение в виртуальном пространстве
- •2.3.3. Способы подачи команд
- •2.3.4. Сенсорная перчатка и тактильная обратная связь
- •2.3.5. Звуковая поддержка вр
- •2.3.6. Обобщенный вариант состава аппаратуры для поддержки вр
- •2.4. Системы вр vfx 1 и vfx 3d
- •2.5. Рабочая станция Haptic Workstation
- •2.6. Сферы и перспективы применения сред вр
- •2.7. Комбинированные информационные среды с расширенными возможностями
- •2.7.1. Интерактивные интеллектуальные игры
- •4.6.2. Перфоманс-анимация
- •4.6.3. Моделирование и синтез визуальных динамических образов виртуальных людей
- •4.6.4. Интерактивные интеллектуальные действа с альтернативными сценариями
- •2.8. Контрольные вопросы
- •Глава 3. Создание мультимедиа продуктов цели
- •3.1. Классификация и области применения мультимедиа приложений
- •3.1.1. Классификация мультимедиа приложений
- •3.1.2. Области применения мультимедиа приложений
- •3.2. Программные средства для создания и редактирования элементов мультимедиа
- •3.2.1. Программы создания и редактирования текста и гипертекста
- •3.2.2. Программы создания и редактирования графики
- •3.2.3. Программы создания и редактирования звука
- •3.2.4. Программы создания и редактирования трехмерной графики и анимации
- •3.2.5. Программы создания и редактирования видео
- •3.2.6. Программы создания и редактирования интерактивных трехмерных представлений
- •3.3. Этапы и технологии создания мультимедиа продуктов
- •3.3.1. Основные этапы и стадии разработки мм продуктов
- •3.3.2. Технологии поддержки текста и гипертекста ум
- •3.3.3. Технологии использования графики
- •3.3.4. Технологии использования звуковых компонентов
- •3.3.5. Технологии поддержки анимации и трехмерной графики
- •3.3.6. Технологии создания и поддержки видео
- •3.3.7. Технологии создания и поддержки интерактивных трехмерных представлений
- •3.4. Мультимедиа издания наCd-roMиDvd-rom
- •3.5. Инструментальные интегрированные среды разработчика мультимедиа продуктов
- •3.5.1. Типы программных средств разработки мм продуктов
- •3.5.2. Специализированные программы
- •3.5.3. Авторские системы
- •3.5.4. Инструментальные среды поддержки языков программирования
- •3.5.5. Проблемы создания мм ксо
- •3.5.6. Направления и средства адаптации мм ксо к возможностям и особенностям пользователя
- •3.6. Контрольные вопросы
- •Глава 4. Применение мультимедиа технологий в образовании цели
- •4.1. Образовательная среда и ее ресурсы
- •4.1.1. Основные понятия образовательной среды
- •4.1.2. Классификация образовательных ресурсов
- •4.1.3. Классификация электронных образовательных ресурсов
- •4.1.4. Классификация программных средств компьютерного обучения
- •4.2. Особенности применения мультимедиа технологий в обучающих системах
- •4.2.1. Новые способы работы с информацией
- •4.2.2. Расширение возможностей иллюстраций
- •4.2.3. Интерактивность
- •4.2.4. Избирательность восприятия и обучения
- •4.2.5. Активизация обучаемых
- •4.2.6. Интенсификация процессов обучения.
- •4.3. Примеры реализации обучающих систем с использованием средств мм технологий
- •4.4. Контрольные вопросы
- •Глоссарий к модулю 2
- •Заключение
- •Список сокращений
- •Библиографический список
- •Оглавление
- •Глава 2. Виртуальная реальность и другие комбинированные среды 7
- •Глава 3. Создание мультимедиа продуктов 77
- •Глава 4. Применение мультимедиа технологий в образовании 137
- •Часть 2. Виртуальная реальность, создание мультимедиа продуктов, применение мультимедиа технологий в образовании
2.3.5. Звуковая поддержка вр
Звук дополняет визуальную информацию и предупреждает пользователя о событиях, им невидимых, например, происходящих за его спиной. Для такой сигнализации иногда вполне достаточно и монозвука. А если этот звук контекстно связан с каким-либо видимым объектом, то он будет восприниматься, как исходящий от этого объекта. При этом, как в случае с известной всем собакой Баскервилей, остальное будет уже не так важно.
При необходимости создавать источники звука, локализованные в трехмерном пространстве, используется специальная аппаратура, например, устройство Convolvotron фирмы VPL или устройство Focal Point, разработанное изобретателем Бо Герингом. В устройствах на базе электронной модели наружного уха звук моделируется так, что он воспринимается как идущий из заданной точки пространства. Для придания звуку большей естественности в модели можно учесть отражение звука от предметов в виртуальном помещении [6].
Сегодня в системах ВР широко используются уже упомянутые в подразделе 3.3.5 технологии создания 3D-звука: EAX компании Creative, A3D компании Aureal, а также DirectSound3D корпорации Microsoft, реализованная в библиотеках DirectX [82]. Более дорогие шлемы ВР оснащаются квадро-наушниками, обеспечивающими комфортное прослушивание 3D-звука.
2.3.6. Обобщенный вариант состава аппаратуры для поддержки вр
Обобщенный вариант состава аппаратуры для поддержки ВР (на основе [15]) представлен на рис.2.27, где цифрами и буквами обозначены:
1 – стандартная клавиатура ПК;
2 – специальная клавиатура BAT Personal Keyboard фирмы Infogrip, предназначенная для работы одной рукой (рис.2.28). Она имеет 7 клавиш (4+3, последние 3 клавиши играют особую роль и поэтому имеют свои цвета), с помощью одновременного нажатия различных сочетаний (аккордов) которых можно дублировать все клавиши стандартной клавиатуры;
3 – стандартная мышь;
4– 3D-мышь – ультразвуковая система слежения за положением в трехмерном пространстве. Обслуживает до 4 датчиков, имеет следящий передатчик и приемник-микрофон, дает информацию о 6 степенях свободы. Для имитации 6 степеней свободы предназначена, например, мышь CyberMan Controller компании Logitech, трехклавишная, на подвижном рычаге, находящемся на подвижном основании (рис.2.29). Мышь может поворачиваться на основании и перемещаться вверх-вниз. Поскольку поворотный шарнир находится на консоли, он позволяет управлять наклоном и креном, перемещением вверх-вниз или вращением влево-вправо. Кроме того, мышь CyberMan имеет тактильную обратную связь в виде вибрации, когда выстрелы или взрывы сотрясают «мир» ВР. Для тех же целей используется устройство Spaceball 2003 корпорации Spacetec IMC в виде подставки для руки с установленным в углублении шаром, удобно охватываемым пальцами (рис.2.30). Есть кнопка на вершине шара и 8 кнопок на подставке. Для управления движением следует толкать или тянуть шар в 6 известных направлениях [15];
Рис.2.27. Обобщенный вариант состава аппаратуры для поддержки ВР
5 – информационная (сенсорная) перчатка;
6 – датчик сгиба локтя;
7 – следящее устройство, например, базовое устройство FasTRAK фирмы Polhemus, имеющее следующие особенности:
использована электромагнитная следящая система с 6 степенями свободы,
есть маленький датчик (10), который крепится к HMD,
другие дополнительные датчики (15) крепятся на руках, груди, поясе,
датчики принимают сигналы, излучаемые передатчиком (D), и транслируют их на данное базовое устройство;
Рис.2.28. Клавиатура BAT |
Рис.2.29. Мышь CyberMan Controller |
Рис.2.30. Устройство Spaceball 2003 |
8 – манипулятор, например, Cyber Wand (рис.2.11). Он похож на рукоятку джойстика системы управления полетом (Flight Control System), имитирует штурвал управления реактивным самолетом-истребителем. Это виртуальное устройство управления, где четыре кнопки и двухкоординатный датчик, расположенные сверху, задают движение с 6 степенями свободы;
9 – HMD, содержащий по два головных телефона (Т1, Т2) и ЖК-экрана (Э1, Э 2);
10 – датчик положения головы;
11 – интерфейсная плата манипулятора Cyber Wand (рис.2.31);
Рис.2.31. Манипулятор Cyber Wand
12 – карта объемного звука, например, Alphatron фирмы Crystal River Engineering, которая обычно работает вместе со следящей 3D-системой, совместимой с ней, обслуживает 2-4 одновременных источника звука (при увеличении числа источников звука можно увеличить число карт);
13 – две карты акселераторов 3D-графики;
14 – стандартный монитор ПК;
15 – датчики на руках, груди, поясе;
α – порт клавиатуры;
β – порт мыши;
γ – COM-порт;
A – коммутационная коробка HMD;
B – NTSC-конвертер;
C – блок интерфейса следящего устройства FasTRAK;
D – передатчик следящего устройства FasTRAK.
Далее рассмотрим еще несколько устройств, дополняющих описанный обобщенный вариант аппаратуры ВР (рис.2.27).
Костюм ВР. Особым элементом оборудования для ВР является виртуальный костюм. Он состоит из обтягивающего комбинезона с множеством магнитных сенсоров, которые отслеживают движения всех частей тела. На рис.2.32 представлен костюм SpacePad компании Ascension Technology Corp. Датчики на костюме действуют лишь в магнитном поле, что требует постоянного нахождения на какой-то бочке.
Кресло ВР. Такое необычное устройство предлагает компания Сomputers & more (рис.2.33). Это кресло снабжено несколькими стереоколонками для передачи всех изменений с помощью звуков.
Рис.2.32. Костюм ВР SpacePad |
Рис.2.33. Кресло ВР |
Манипуляторы для ВР. Самые распространенные – это джойстики с системой ForceFeedback от компании Immersion (погружение). Они способны сопротивляться вашим действиям примерно так же, как их родственники на машинах и самолетах. Рули при езде по кочкам будут вырываться из рук, джойстики в реактивном самолете не станут беспрепятственно выводить вас из «штопора» – на каждое действие будет свое противодействие.
Мышь FEELit Mouse (рис.2.34) – еще одно изобретение компании Immersion. Такие мышки способны передавать неровности рельефа на экране руке пользователя. Вы сможете почувствовать каждую иконку и букву. Требуется драйвер и специальный магнитный коврик.
Компания Ascension Tecnology Corp.Предлагает 6D-Mouse (рис.2.35), похожую на трехкнопочную мышь с необычным дизайном, но внутри у нее еще есть и датчики, отслеживающие поднятие и вращение. Такие мышки упрощают проблему свободного перемещения в 3D пространстве. Разработчики рассматривают ее как дешевую альтернативу перчаткам ВР.
Фирма SensAble Technologies разработала серию манипуляторов специально для ВР, например, устройство PHANTOM (рис.2.36). Несколько его рычагов обеспечивают полный контроль над перемещениями в ВР. Для нормальной работы необходим специальный набор библиотек General Haptic Open Software Toolkit (GHOST) SDK, написанных на С++.
Рис.2.34. Мышь FEELit Mouse |
Рис.2.35. Мышь 6D-Mouse |
Рис.2.36. Устрой-ство PHANTOM |
Виртуальные клавиатуры. Виртуальная клавиатура фирмы Canesta (рис. 2.37, слева) состоит из инфракрасного излучателя, приемника и системы подсветки. Излучатель испускает инфракрасный свет (сканирует пространтво лучом инфракрасного лазера), который отражается от предметов перед ним. Приемник улавливает отраженный свет и по временной разнице между испусканием и приемом отраженного света определяет расстояние до предмета (инфракрасный радар). Если этот предмет – пальцы руки, то устройство сможет распознать и запомнить их перемещение. Подсветка проецирует на поверхность перед устройством изображение клавиатуры. Пользователь давит пальцами на вирутальные кнопки, а система переводит их во вполне реальные напечатанные буквы. Все очень просто, элегантно, компактно и не имеет движущихся частей. Идеальное решение для PDA и мобильных телефонов [95].
Рис. 2.37. Инфракрасная клавиатура Canesta и другие разработки.
Похожие разработки практически одновременно представили еще две компании: Virtual DevicesиVKB(рис. 2.37, справа) [95].
Кроме рассмотренных устройств могут использоваться всевозможные игровые манипуляторы – геймпады (gamepad). Примеры: TrustMaster Top Gun AfterBurner Force Feedback – «авиационный» джойстик с полной поддержкой эффектов тактильной обратной связи (рис.2.38); WingMan RumblePad компании Logitech – геймпад с поддержкой виброэффектов (рис.2.39); TrustMaster Firestorm Dual Power – геймпад, оснащенный помимо кнопок и плоского указателя двумя мини-джойстиками (рис.2.40);
Рис.2.38. Геймпад – «авиационный» джойстик с тактильной обратной связью |
Рис.2.39. Геймпад с поддержкой виброэффектов |
Рис.2.40. Геймпад с плоским указателем и двумя мини-джойстиками |
WingMan Force 3D компании Logitech – джойстик классической конструкции, оснащенный механизмом тактильной обратной связи (рис.2.41); TrustMaster HOTAS Cougar – точная копия органов управления самолета-истребителя F-16 (рис.2.42); Thrustmaster F1 Force Feedback Racing Wheel – манипулятор в виде руля болида «Формулы-1» Ferrari F399 (рис.2.43) [16].
Рис.2.41. Геймпад – джойстик с тактильной обратной связью |
Рис.2.42. Геймпад – точная копия органов управления самолета-истребителя F-16 |
Рис.2.43. Манипулятор в виде руля болида «Формулы-1» |