- •Министерство образования и науки российской федерации
- •Введение
- •Модуль 2. Виртуальная реальность, создание мультимедиа продуктов, применение мультимедиа технологий в образовании
- •Глава 2. Виртуальная реальность и другие комбинированные среды цели
- •2.1. Основные понятия и определения
- •2.1.1. Понятие виртуальной реальности
- •2.1.2. Определения и восприятие вр
- •2.1.3. Измерения вр
- •2.1.4. Классификация систем вр
- •2.2. Появление и разработки систем вр
- •2.3. Компоненты и аппаратура среды вр
- •2.3.1. Способы отображения
- •4.3.2. Классы и примеры устройств отображения
- •2.3.2. Передвижение в виртуальном пространстве
- •2.3.3. Способы подачи команд
- •2.3.4. Сенсорная перчатка и тактильная обратная связь
- •2.3.5. Звуковая поддержка вр
- •2.3.6. Обобщенный вариант состава аппаратуры для поддержки вр
- •2.4. Системы вр vfx 1 и vfx 3d
- •2.5. Рабочая станция Haptic Workstation
- •2.6. Сферы и перспективы применения сред вр
- •2.7. Комбинированные информационные среды с расширенными возможностями
- •2.7.1. Интерактивные интеллектуальные игры
- •4.6.2. Перфоманс-анимация
- •4.6.3. Моделирование и синтез визуальных динамических образов виртуальных людей
- •4.6.4. Интерактивные интеллектуальные действа с альтернативными сценариями
- •2.8. Контрольные вопросы
- •Глава 3. Создание мультимедиа продуктов цели
- •3.1. Классификация и области применения мультимедиа приложений
- •3.1.1. Классификация мультимедиа приложений
- •3.1.2. Области применения мультимедиа приложений
- •3.2. Программные средства для создания и редактирования элементов мультимедиа
- •3.2.1. Программы создания и редактирования текста и гипертекста
- •3.2.2. Программы создания и редактирования графики
- •3.2.3. Программы создания и редактирования звука
- •3.2.4. Программы создания и редактирования трехмерной графики и анимации
- •3.2.5. Программы создания и редактирования видео
- •3.2.6. Программы создания и редактирования интерактивных трехмерных представлений
- •3.3. Этапы и технологии создания мультимедиа продуктов
- •3.3.1. Основные этапы и стадии разработки мм продуктов
- •3.3.2. Технологии поддержки текста и гипертекста ум
- •3.3.3. Технологии использования графики
- •3.3.4. Технологии использования звуковых компонентов
- •3.3.5. Технологии поддержки анимации и трехмерной графики
- •3.3.6. Технологии создания и поддержки видео
- •3.3.7. Технологии создания и поддержки интерактивных трехмерных представлений
- •3.4. Мультимедиа издания наCd-roMиDvd-rom
- •3.5. Инструментальные интегрированные среды разработчика мультимедиа продуктов
- •3.5.1. Типы программных средств разработки мм продуктов
- •3.5.2. Специализированные программы
- •3.5.3. Авторские системы
- •3.5.4. Инструментальные среды поддержки языков программирования
- •3.5.5. Проблемы создания мм ксо
- •3.5.6. Направления и средства адаптации мм ксо к возможностям и особенностям пользователя
- •3.6. Контрольные вопросы
- •Глава 4. Применение мультимедиа технологий в образовании цели
- •4.1. Образовательная среда и ее ресурсы
- •4.1.1. Основные понятия образовательной среды
- •4.1.2. Классификация образовательных ресурсов
- •4.1.3. Классификация электронных образовательных ресурсов
- •4.1.4. Классификация программных средств компьютерного обучения
- •4.2. Особенности применения мультимедиа технологий в обучающих системах
- •4.2.1. Новые способы работы с информацией
- •4.2.2. Расширение возможностей иллюстраций
- •4.2.3. Интерактивность
- •4.2.4. Избирательность восприятия и обучения
- •4.2.5. Активизация обучаемых
- •4.2.6. Интенсификация процессов обучения.
- •4.3. Примеры реализации обучающих систем с использованием средств мм технологий
- •4.4. Контрольные вопросы
- •Глоссарий к модулю 2
- •Заключение
- •Список сокращений
- •Библиографический список
- •Оглавление
- •Глава 2. Виртуальная реальность и другие комбинированные среды 7
- •Глава 3. Создание мультимедиа продуктов 77
- •Глава 4. Применение мультимедиа технологий в образовании 137
- •Часть 2. Виртуальная реальность, создание мультимедиа продуктов, применение мультимедиа технологий в образовании
2.3.3. Способы подачи команд
Кроме задания положения объекта в трехмерном пространстве желательно также иметь возможность подавать команды, которые должны быть выполнены в определенных его точках. Для подачи команд проще всего использовать обычную клавиатуру компьютера и привычную систему экранных меню, но лучше использовать набор кнопок на позиционном датчике типа «плавающая мышь».
Микрофон и наушники видеошлема могут быть подключены к звукогенератору и к системе распознавания и синтеза речи. В среде синтетической реальности, в принципе, даже можно использовать виртуальную клавиатуру и управлять всем процессом работы через нее с помощью сенсорной перчатки. Но человеку все же легче и проще для подачи команд использовать свой речевой канал, а компьютерную систему речевого ввода сегодня уже можно «обучить» распознаванию десятков тысяч слов с достаточно высокой надежностью [9].
2.3.4. Сенсорная перчатка и тактильная обратная связь
Сенсорная перчатка. Непосредственное отслеживание движений руки давно вызвало большой интерес у многих разработчиков. Например, в 1983 г. было запатентовано устройство Digital Entry Glove. Но настоящим прорывом стала сенсорная перчатка DataGlove, разработанная в Исследовательском центре имени Джозефа Эймса NASA, а затем усовершенствованная и выпущенная на рынок компанией VPL Research (рис.2.20).
Для определения величины углов сгиба пальцев в перчатке VPL DataGlove были использованы эластичные оптические волокна (световоды). Сгибание пальцев обнаруживается с помощью набора из десяти оптоволоконных датчиков, которые вшиты в перчатку над каждым суставом пальцев. Работа датчиков основана на том, что, если оптоволокно сгибается, то переданный по нему свет ослабевает пропорционально изгибу. Каждый датчик состоит из источника света на одном конце оптоволокна и детектора на другом. Микропроцессор последовательно сканирует все сенсоры и вычисляет угол сгиба каждого сустава пальцев, используя определенную модель строения человеческой кисти. Перчатка подключается к ПК с помощью стандартного последовательного интерфейса RS-232 [6].
|
Рис.2.20. Сенсорная перчатка VPL DataGlove |
Разработано несколько конкурирующих сенсорных перчаток, самая известная из которых – недорогая перчатка Nintendo PowerGlove (рис.2.21, слева), предназначенная для использования в видеоиграх. Перчатки со световыми сенсорами разработала калифорнийская фирма Virtual Technologies, например, самые простые варежки CyberGlove. Существует также 18-сенсорная модель, отслеживающая движения пальцев (рис.2.21, в центре), и 22-сенсорная, способная еще и уловить сгибание-разгибание всех пальцев, кроме большого.Эти перчатки дают ошибку лишь на 0,5-1°. 22-сенсорная модель снимает показания 149 раз в секунду, а 18-сенсорная – 112 раз в секунду. Компания Computers & more выпускает перчатку 5th Glove (рис.2.68, справа) [87].
В других моделях, в частности, Virtex CyberGlove, для определения величины углов сгиба пальцев применяются датчики натяжения. Для некоторых задач точность (порядка ±10º) и повторяемость показаний таких датчиков могут быть недостаточны. Более точный метод измерения дает устройство Dexterous Handmaster компании Exos, имеющее наружный скелет, закрепляемый на суставах пальцев, и датчики, использующие эффект Холла. Датчики позволяют определять углы сгиба пальцев с точностью ±0,5º. Однако, не вполне ясно, можно ли извлечь какую-либо пользу из такой точности, и вполне может оказаться, что четырех уровней данных, которые дает перчатка Nintendo PowerGlove, фактически достаточно для большинства задач [73].
|
|
|
Рис.2.21. Сенсорные перчатки: Nintendo PowerGlove; 18-сенсорная модель фирмы Virtual Technologies; 5thGlove
Есть и технология с механическими датчиками, но она тяжела и несовершенна [87].
Следящая система переводит в цифровую форму также и положения руки. Аэрокосмическая корпорация МсDonnell Douglas разработала систему Polyhemus, которая встраивается в перчатку DataGlove и служит для определения положения руки [76].
Упоминавшиеся видеошлем VIEW и перчатка DataGlove используют систему датчиков, чувствительных к электромагнитному полю. Точность определения положения порядка двух миллиметров. Перчатка может находиться в любой точке условного шара диаметром в 1 м [76].
Более современная перчатка P5 американской фирмы Essential Realityпоказана на рис. 2.22. Базовая станция включается в порт USB и не требует внешнего питания, перчатка включается проводом в базовую станцию. На тыльной стороне «ладони» расположено 8 инфракрасных светодиодов, которые позволяют базовой станции отслеживать перемещения руки в пространстве. В базовой станции, находятся 2 инфракрасные камеры, что позволяет более надежно следить за перчаткой и точно определять расстояние до нее.
Рис.2.22. Базовая станция и перчатка P5
Зона видимости базовой станции составляет 45° по вертикали и горизонтали и около 1,5 м в «глубину». В этом конусе P5 может отслеживать координаты руки по 3 осям с точностью до 0,6 см (в 60 см от базы), а также поворот и наклон ладони с точностью до 2°. Опрос координат происходит с частотой 40 Гц (задержка составляет 12 мс). Кроме светодиодов системы слежения, в перчатке имеется 5 резиновых «пальцев» с датчиками изгиба. К пальцам пользователя они крепятся пластиковыми кольцами и меряют изгиб с точностью в 1,5°. Еще на тыльной стороне перчатки имеется 4 кнопки, одна из которых программируется (остальные служат для калибровки, включения/выключения и переключения режимов работы). Таким образом, в терминах джойстика P5 имеет 11 аналоговых осей и 1 кнопку [95].
Тактильная обратная связь (Forced Feedback) используется в сенсорных перчатках для имитации прикосновения руки к объекту. Тактильную обратную связь наиболее просто реализует небольшой динамик на ладони, поскольку рука хорошо чувствует щелчок, издаваемый динамиком в ответ на какое-либо событие. Но это лишь сигнал о событиях, а хотелось бы получить ощущение прикосновения к виртуальным объектам [6]. Такое ощущение можно имитировать разными способами.
Для имитации ощущения прикосновения с помощью давления часто используют воздушные надувные баллончики, с помощью которых регулируется сила или жесткость давления перчатки на пальцы. Делались попытки применить пьезоэлектрические кристаллы, которые при вибрации создают ощущение давления, а также сплавы с памятью формы, которые можно заставить изогнуться, пропуская слабый электрический ток. Подобное устройство Portable Dexterous Master (рис.2.23), состоящее из перчатки VPL DataGlove, снабженной тремя пневматическими приводами, было разработано изобретателем Григором Бердиа из Университета Рутгерса [6].
Рис.2.23. Устройство Portable Dextrous Master
Кроме ощущения давления важна и имитация ощущения сопротивления при попытке сдвинуть виртуальный объект. Для этой цели может использоваться миниатюрный робот-манипулятор, закрепляемый на руке [6]. Например, более поздние модели перчатки DataGlove уже включали пьезоэлектрические датчики на кончиках пальцев, чтобы обеспечить некоторый уровень тактильной обратной связи. Когда пользователь берет в руку виртуальный объект, то ощущает давление от соприкосновения его пальцев с поверхностью объекта. Еще позднее перчатка была снабжена специальным робототехническим экзоскелетом, позволяющим создавать ощущения веса и силы [14].
«Силовая» обратная связь может быть реализована и без сенсорных перчаток. Простое устройство «силовой» обратной связи было разработано компанией Digital. Это рукоятка, подобная ручке газа на мотоцикле, которая может менять силу своего сопротивления повороту. Группа специалистов из компании UNC для создания «силовой» обратной связи применила электромеханический манипулятор.
Тактильная обратная связь весьма чувствительна к характеристикам контуров обратной связи: пользователь подсознательно мгновенно реагирует на импульсы от системы и корректирует свою реакцию до того, как система успеет отработать предыдущие реакции. Считается, что для создания надежной иллюзии ощущения объекта тактильная система должна иметь скорость обновления информации 300-1000 Гц, что как минимум на порядок выше, чем скорость обновления визуальной информации [6].
Компания Virtual Technologies разработала устройство CyberGrasp с обратным тактильным воздействием, предоставляя пользователю возможность почувствовать виртуальный мир своими руками (рис. 2.24).
Специальные крючья одеваются поверх перчаток и при необходимости препятствуют сжиманию кисти с силой до 12 Н (Ньютон) на каждый палец (силу в 1 Н надо приложить, чтобы телу весом 1 Кг изменить ускорение на 1 м/с; или это сила тяготения, действующая на 1/9,8 Кг). Максимальное воздействие CyberGrasp сравнимо с тем, которое можно испытать, подвесив по 1,2 Кг на каждый палец при прямом локтевом суставе, плюс сама лапка весит еще 350 г.
Компания Virtual Technologies изобрела и устройство CyberTouch с обратным тактильным воздействием (рис.2.25). Это устройство небольших размеров надевается на кончики пальцев и передает им разного рода вибрацию. Крепится оно поверх VR-перчаток.
Рис.2.24. Устройство CyberGrasp |
Рис.2.25. Устройство CyberTouch |
Англичане придумали перчатки с системой шариков и компрессором для нагревания воздуха, в которых можно почувствовать не только неровности виртуальных объектов, но и их температуру. Такое устройство наиболее полно передает тактильное воздействие на руки.
Датчики кисти руки предназначены для слежения за ее перемещениями. В самые простые датчики встроен только Position Tracker, отслеживающий перемещения небольшого кубика в руке пользователя. Производством таких датчиков занимается компания Ascension Technology Corporation. Например, датчик MibiBird (рис. 2.26, слева) способен отслеживать кисть при вращении ±180° по вертикали и горизонтали, а также ±90° вокруг своей оси с ошибкой на 0,1-0,5°. Приспособление Motion Star (рис. 2.26, справа) более массового характера схоже с MibiBird. Существуют и более чувствительные подобные приборы [88].
Датчик MibiBird |
Приспособление Motion Star |
Рис.2.26. Датчики кисти руки
Далее рассмотрим лишь некоторые сферы применения тактильной обратной связи, получившей альтернативное название – гаптика (Haptics), на примерах популярных решений компаний Haption и Force Dimention.
Тренажеры и симуляторы. Многие ремесела основаны на тонком моторном контроле и координации рук человека. Изучение и подготовка в некоторых профессиях требует большой практики, а достижение определенного мастерства может занимать годы (например, каллиграфия). Тренажеры, симуляторы и системы имитации предназначены для повышения эффективности обучения. Использование устройств с тактильной обратной связью позволяет проводить процесс обучения более эффективно, особенно когда руку обучаемого ведет электронный эксперт – устройство с тактильной обратной связью.
Телеуправление (дистанционное управление) и микро-манипуляции, робототехника. Работа с недоступным или опасным материалом требует телеприсутсвия оператора. Использование устройств с осязательной обратной связью позволяет повысить качество дистанционного управления роботами и различными исполняющими устройствами за счет передачи дополнительной интуитивно понятной оператору осязательной информации. К сожалению, стандартные джойстики не позволяют использовать данный канал восприятия информации человека.
Использование устройств с обратной тактильной связью оправданно в ответственных операциях с дистанционным управлением роботами, когда операторы могут мгновенно чувствовать реакцию и различные ограничения манипулятора (динамика, ограничения рабочего пространства и т.д.).
Микро-манипуляторы – маленькие роботы, построенные, чтобы выполнять различные задачи с объектами, часто более тонкими, чем человеческие волосы. Соответственно, использование устройств с тактильной обратной связью позволяет оператору манипулировать микро-роботами интуитивно понятным и привычным способом.
Медицина. Большое число высокотехнологичных устройств для медицины часто ограничивается первичным инструментом хирурга, а именно их руками. Соответственно, использование систем с обратной тактильной связью в медицинских тренажерах и реальных медицинских роботах позволяет передавать хирургу осязательную информацию, что позволяет сделать все манипуляции в привычной и интуитивно понятной форме [100].