1.1.2.4.2. Системы клонирования голоса

Системы клонирования голоса предназначены для замены параметров речевого сигнала, характеризующих тембр одного диктора, в параметры тембра другого диктора. При сохранении остальных характеристик речи неизменными. Эти системы очень сильно напоминают системы синтеза речи и по архитектуре и по исполнению.

1.1.2.4.1. Системы синтеза видеоряда по тексту

Создание 3D графики трудоемкий сложный процесс. Пользователь должен изучить сложный пакет, содержащий страницы меню, инструменты, настройку параметров. А далее – собственно создание произведения искусства. Системы синтеза видеоряда (мультфильма) по тексту позволяют автоматически сгенерировать отдельные статические сцены, а в некоторых случаях – и их последовательность, используя с этой целью семантическую информацию, содержащуюся в тексте. Становится возможным создания 3D сцен прямо на основе естественно-языкового описания без использования сложного графического интерфейса.

Ранние системы синтеза видеоряда по тексту позволяли упростить процесс формирования графической сцены, но входной текст ограничивался искусственными англоязычными выражениями типа “Положить (X P Y)”, где X и Y – объекты, а P –пространственное отношение. Система интерпретировала сложные пространственные отношения. Были также созданы системы для управления поведением объектов с помощью естественного языка в некотором виртуальном окружении.

Целью систем синтеза видеоряда по тексту является автоматическое создание 3D сцены по ее текстовому описанию, причем описание может содержать не только пространственные отношения, а также описывать перемещение объектов на сцене. Текст может включать много разных .

Входной текст делится на предложения и парсится. Для каждого предложения строится дерево зависимостей, которое затем интерепретируется в виде семантического представления. Набор паравил позволяет извлекать из семантического представления множество объектов, поз, пространственных отношений, цветовых значений и подобное. При этом разрешаются конфликты и добавляются подразумевающиеся ограничения. Наконец строится сцена. Например, для предложения «Джон сказал, что кошка была на столе. Животное было за вазой с яблоками» система сконструирует картину, на которой человек говорит, как в комиксе, например, картинками, где кошка сидит на столе, а вблизи нее стоит ваза с яблоками.

Лингвистический анализ

Текст разбивается на предложения и парсится статистически и с выделением частей речи. В результате получается дерево зависимостей (см. рис. 2). Это список слов, в котором указывается их соподчиненность. Дерево зависимостей конвертируется в семантическое представление [16], кроторое описывает сущности на сцене и отношения между ними. Семантическое представление это перечень семантических фрагментов, каждый из которых соответствует одной из вершин дерева зависимостей. Так для ранее упоминавшейся фразы вершина 1 соответствует действию «говорить», субъект соответствует вершине 2 (Джон) и объект состоит из вершин 5, 4 и 7, соответс твующих подчиненной клаузе «что кошка была на столе». Эти вершины представлены на 3D сцене гуманоидом «Мр. Хеппи», а стол – одним из столов базы. Семантические связи между объектами берутся из WordNet [10]. В частности используются отношения гипо и гиперонимии. Так кошка может быть представлена кошкой, или животным женского пола, или млекопитающим. Имена собственные представляются гуманоидными фигурками мужского или женского пола. Пространственные отношения реализуются семантическими функциями [5, 14, 15, 11, 20, 22, 24]. Интерпретация пространственных отношений часто зависит от объекта, от его геометрической формы.

Глаголы представляются семантическими фреймами [18] (для слова говорить см. рис. 4). Семантический фрагмент содержит множество конструкций, исчерпывающих возможности управлений для этого глагола (смыслы). Одно из управлений: «говорить-что-S-фрейм» требует субъекта и выражения «что-S-объект», то есть «что кошка на столе». Опциональные аргументы – место (Джон в ванной), и время ( Джон сказал вчера, и кошка была на столе). Каждый из аргументов вызывает функцию для проверки наличия в семантическом представлении соответствующего слота.

Также интерпретируются анафоры и кореференции поиском в контексте наиболее подходящего кореферента (по числу и роду). Как в примере «Джон сказал, что кошка был на столе. Животное сидело за вазой с яблоками». Поскольку из текста кореферент не вполне очевиден, от слушателя зависит когеренция (установление этой связи). Памятуя о наличии генитивных отношений, можно предположить, что слова «животное» и «кошка» - кореферентны. Когнитивная грамматика [17].

Рисовальщик

Все сцены представляются в терминах спецификации так называемого рисовальщика. Рисовальщик управляет 3D представлением объектов: размером, позицией, цветом, позой человека, кинематикой, а также выражением лица. Такими объектами являются животные, людские фигуры, а также здания, транспорт, предметы обстановки жилища, пейзажи, и подобное. Эти объекты берутся из специально приготовленных баз.

В дополненпространственным отношениям. Чтобы корректно их интерпретироватьие к геометрическим свойствам объектов используются их функциональные свойства. Так для автомобиля, мотоцикла, велосипеда и других колесных видов транспорта характерно пернемещение по дороге. Поэтому, если в тексте встречается «Джон поехал в офис», имеется в виду, что он воспользовался колесным транспортом. То же относится к пространственным отношениям. Для корректного использования пространственных отношений необходимо иметь информацию о форме объекта. Так чашка – вместилище чего-либо (см. рис. 6).

Пространственные отношения

Пространственные отношения являются основными при синтезе сцены, так как они являются неотъемлемой частью действия, или объекта. Они включают относительные позиции (Джон около Мери), расстояния (кресло в 3 метрах от стола), ориентации (Джон стоял лицом к столу). Пространственные отношения часто выражаются предлогами. Точное положение объектов зависит от их формы поверхности. А смысл отношения, выраженного предлогом также зависит от объекта.

Процесс формирования сцен

Процесс формирования сцены сопровождается переводом семантического представления высокого уровня, созданного в процессе лингвистического анализа во множество нарисованных объектов в их взаимоотношениях. Процесс формирования сцены проходит следующие этапы:

1. Конвертация семантического представления