29. Автоматический семантический анализ — процедура, позволяющая представить семантическую (смысловую) структуру предложения и текста в виде строгой формальной системы.

Под автоматическим семантическим анализом понимается совокупность методов и приемов, с помощью которых можно путем строгой и однозначной формальной процедуры, реализуемой на компьютере посредством специально разработанных лингвистических алгоритмов, с достаточной точностью представить смысл произвольного высказывания на естественном зыке в виде последовательности символов, образующих некоторую формальную систему. Однако формализация семантики –необходимая предпосылка умения выражать смысл – крайне трудная задача. Сложность заключается в том, что при изучении содержания (смысла) приходится выходить за пределы языка и обращаться к внешнему миру, к классификации предметов и представлений, лежащих вне сферы языка. Иследования формализации семантики можно разделить на два направления:

Первое направление включает в себя исследования, ведущиеся на дедуктивном абстрактно-теоретическом уровне и имеющие целью:

•установить место семантики в рамках более общей науки о знаковых системах – семиотики и определить отношения между семантикой и другими составляющими семиотики – синтактикой и прагматикой, построить модели человеческого мышления самого по себе и в связи с процессом коммуникации;

•вывести универсальные закономерности образования понятий, связей между значениями слов и внутри высказывания между его составляющими;

•сформулировать и разрешить на уровне абстракции другие проблемы, относящиеся к человеческому мышлению и особенно к языковой деятельности человека в связи с мышлением и коммуникацией.

Второе направление носит индуктивный, эмпирический характер. Оно ставит целью решение конкретных прикладных проблем, связанных с формализацией семантики, точнее, смысла в языковых выражениях, - проблем машинного перевода, автоматического информационного поиска, прикладных систем искусственного интеллекта.

Само понятие автоматического семантического анализа тесно связано с понятием «текст». Смысл, содержание сообщения неотделимы от того, что в настоящее время называется дискурсом. Содержание и форма неразрывны в том, что касается акта коммуникации.

Содержание вне дискурса имеет не смысл, а псевдосмысл, и смысловое кодирование вне дискурса никакого смысла не имеет (Звегинцев, 1976). Смысл текста определяется в конкретном дискурсе, и, к примеру, перестановка слов в предложении, замена словоформ, замена конструкций меняют и смысл, определяемый в зависимости от контекста, хотя с некоторой абстрактной точки зрения можно утверждать, что некоторый «глубинный» смысл остается прежним. Дело в том и заключается, что смысл не существует без контекста.

Теоретические работы по автоматическому синтаксическому и семантическому анализы не дали достаточно эффективных практических приложений.

28. Автоматический синтаксический анализ

Автоматический синтаксический анализ – анализ, целью которого является получение в явном виде с помощью алгоритмов синтаксической структуры предложения (чаще простого).

Существуют разные способы изображения синтаксической структуры предложения: 1. Скобочная запись 2.Изображение зависимостей в виде стрелок 3.В виде дерева

Без смыслового членения предложения и без обращения к семантике слов правильное определение синтаксической структуры невозможно, поэтому автоматический синтаксический анализ тесно связан и не может быть осуществлён без анализа семантической структуры предложения. Синтаксический анализ тесно связан с семантическим и не может существовать без него. Тесная связь синтаксиса с семантикой не даёт возможности создать эффективные системы и алгоритмы синтаксического анализа в отрыве от смысла высказывания и текста в целом.

В каждом их способов изображения с.с находит своё отражение способ представления с.с. Можно отметить два основных способов:

•Грамматика непосредственных составляющих . Отмечает в предложении наиболее связанные между собой по смыслу слова, и здесь показателен скобочный способ изображения. Г.н.с. построена на факте пространственного следования групп, составляющих предложение, - именных, глагольных и т.д. Предложение рассматривается как совокупность групп, сводящихся к двум главным – группе имени и группе глагола.

•Грамматика зависимостей. Базируется на представлении об управлении, и в её рамках наиболее приемлем способ обозначения связей стрелками. С.с рассматривается как дерево (граф), состоящее из рёбер и узлов. В узлах помещаются слова, рёбра означают связи между ними, которые отражают основную зависимость – управление, но возможны некоторые приближения, т.к. есть и другие связи, но управление считается основным.

В рамках компьютерной лингвистики разработаны различные способы автоматического обнаружения синтаксической структуры. По способам движения по тексту в целях выявления структуры выделяют следующие методы:

•Непрерывный. Движение по тексту осуществляется в одном направлении, при этом за один просмотр текста выявляется вся с.с. фразы в целом.

•Циклический. Предложение или фраза просматриваются повторно столько раз, сколько это необходимо: за 1 просмотр выявляется подлежащее, за 2 – сказуемое и т.д.

По объёмам с.с.способы анализа можно разделить на :1 Интегральные. Приводят к обнаружению всей структуры предложения сразу.(г.з.) 2Локальные. Устанавливают какие-либо части структуры. (г.н.с.)

Синтаксическая структура – отношения между словами в предложении. С.С должна включать в себя субъект, объект и предикат. Системы анализа по частям речи: АМПЕР ВЦП, АНРАП, НЕРПА, СПРИНТ. Анализ по частям речи можно сформулировать в виде следующих характеристик:

1.Отражает универсальную картину синтаксических связей, характеризующих большинство естественных языков.

2.Содержит небольшое практически удобное число основных синтаксических категорий и связей слов в предложении

3.Обнаруживает свойства синтаксических связей для основного состава предложения и фразы.

4.Более тонких синтаксический анализ может быть сделан после установления главных синтаксических связей и с опорой на них.

5.Наглядность и близость компонентов к школьному образованию, облегчает последующее корректирование человеком

За несколько десятков лет, в течении которых разрабатывались разные алгоритмы автоматического синтаксического анализа, не было получено ни одного, который бы удовлетворительно решал вопросы воссоздания синтактико-семантической структуры текста в формальных моделях. Наиболее приемлемым оказался синтаксический анализ в терминах частей речи и членов предложения.

26.Основные понятия авто морфол анализа

В автоматической обработке текста на естественном языке морфологический анализ означает процедуру, в результате которой из формы, внешнего оформления слова в тексте можно получить сведения о самых различных уровнях языковой структуры. Понятие «морфологический анализ» в таком смысле родилось в машинном переводе (Василевский и др. 1970)

Автоматический морфологический анализ языка синтетического типа, т.е. с богатой морфологией и различными формами, начинается с идентификации словоформ и по возможности с группировки их по каким-то функциональным классам. Различие между словообразование и словоизменением в компьютерной лингвистике не играет особой роли и поэтому разница между ними в большинстве случаев стирается.

морфологический анализ (в русском языке) состоит из следующих частей:

1)Лексическая обработка фразы (использование словаря основ путем выделения исходных слов, распределения их на статьи по морфол и семант принципам, выделение основ лексем;

2)Идентификация окончания (морфологическая информация ф основе включает тип основы (частицы, сущ, прил, глаголы), номер таблицы окончаний, морфологическая «сеть» - перечисление форм, имеющихся у данной основы, морфологические признаки – дается перечень признаков у разных типов основ.)

кроме того, дается классификация предложений на 6 типов в зависимости от их места во фразе и встречаемости в них определенных типов слов и производится обработка эквивалентных форм, т.е. снятие грамматической омонимии. Можно сделать вывод, что в этап морфологического анализа входит большое колисчество операция, с помощью которых получается информация, не всегда относящаяся к собственно морфологической. Из этого можно сделать вывод, что в комп лингвистике понятие морф анализа явл понятием операционным. Таким образом, в вычислительной (прикладной) лингвистике важно не «что классифицируется», в отличие от традиционной лингв, а как получается та или иная информация, т.е. из формы слова в тексте.

Различают следующие виды морфологического анализа: 1. морфологический анализ со словарем основ; 2.морфологический анализ со словарем словоформ; 3.морфологический анализ методом логического умножения; 4.морфологический анализ без словаря, с помощью таблиц

27. Морфол анализ со словарем словоформ и основ

В процесс морфологического анализа (в русском языке) входит:

1)Лексическая обработка фразы (использование словаря основ путем выделения исходных слов, распределения их на статьи по морфол и семант принципам, выделение основ лексем;

2)Идентификация окончания (морфологическая информация ф основе включает тип основы (частицы, сущ, прил, глаголы), номер таблицы окончаний, морфологическая «сеть» - перечисление форм, имеющихся у данной основы, морфологические признаки – дается перечень признаков у разных типов основ.)

Различают следующие виды морфологического анализа: 1. морфологический анализ со словарем основ; 2.•морфологический анализ со словарем словоформ; 3.•морфологический анализ методом логического умножения; 4.•морфологический анализ без словаря, с помощью таблиц

Анализ со словарем основ, используемый для большинства европейских языков является наиболее распространенным среди остальных. В этом виде анализа используется словарь основ и ряд вспомогательных таблиц. В словарь включены основы простых и сложных слов без внутренней флексии. Если слово имеет несколько форм основ, то в словарь включены все формы основ слов. Каждой основе словаря ставится в соответствие сочетание кода основоизменительного класса и кода флективного класса, а омонимичной основе – серия сочетаний таких кодов. Так устроен словарь в системе, описываемой Г.Г. Белоноговым.Морф анализ и синтез слов производится с помощью словаря основ и ряда вспомогательных таблиц. В словарь включены основы простых и сложных слов без внутр флексии.

Морфологический анализ со словарем словоформ также довольно распространен. Из общих соображений он применяется, когда морфология данного языка достаточно бедна. На первый взгляд представляется что алгоритм этого анализа проще, чем алгоритм работы со словарем основ: не надо осуществлять членение входной словоформы на морфемы с последовательным поиском по словарю и пр. Однако на самом деле при анализе со словарем словоформ остаются следующие проблемы:

•Анализ не найденных в словаре слов. ( необходимо определить информацию для слова, что необходимо для последующего анализа, к примеру, если мы не нашли данного слова, то мы должны по крайней мере определить его часть речи, что бы не исключить возможности дальнейшего грамматич (синт) анализа);

•Отождествление разных словоформ одного и того же слова. (словоформы одного слова должны быть обозначены как таковые. Система морфологического анализа со словарем словоформ должна иметь список аффиксов, корней (основ) слов и др необходимые атрибуты для идентификации разных словоформ одной и той же лексической единицы)

Эти требования фактически сводят на нет преимущества анализа со словарем словоформ, и поэтому анализ со словаерм основ применяется значительно чаще.