4 Анализ документа

Вероятностно-статистическая модель анализа текста правового документа

Мячина Е.В. ( mvad@tula.net )

Российская академия государственной службы при Президенте РФ

Несмотря на богатую историю и научный опыт, проблемы порождения, восприятия

илингвистического анализа текста (не обязательно нормативного) не решены окончательно. Их направленность изменяется в онтогенезе научного знания и привлекает внимание различных специалистов: лингвистов, психологов, социологов и т.д. В частности, социаль- но-психологический подход к анализу текстов сложился в результате исследований их социального значения в процессах коммуникации, протекающих в общественной жизни. Психолингвистический – рассматривает механизмы грамматического следования лексических единиц в тексте. Основу последнего составляют исследования психологии и психолингвистики, использующие, по крайней мере, две принципиально различные модели порождения и анализа текста – стохастическую модель языка с конечным числом состояний

итрансформационную модель. Но, как отмечает А.А. Леонтьев, ни одна из моделей не доказала своего превосходства. Все существующие опыты лишь указывают, что и данная модель верна, но не доказывают, что только она верна. [1]

Алгоритмические реализации психолингвистического подхода нашли воплощение в различных программно-технических методах. В автоматизированных системах различной целевой направленности успешно работают алгоритмы реализации контекстно-свободных грамматик [2]. Имеют место менее «лингвистичные», но более эффективные в плане практической реализации методы распознавания образов [3]. Весьма оригинальными являются появившиеся в последнее время метод генетических алгоритмов [4,5] и метод автоматического анализа текста на основе ассоциативной семантической сети [6].

Вцелом же можно отметить, что формально-грамматические методы, направленные на воссоздание сложных правил русского языка постепенно вытесняются методами, в той или иной форме использующими вероятностные оценки. Алгоритмы, рассчитанные на сбор и обработку статистики встречаемости различных синтаксических структур в тексте,

внастоящее время считается наиболее практичным в задачах автоматической классификации и интеллектуального поиска в полнотекстовых базах данных, поскольку не требуют привлечения высококвалифицированных специалистов в области лингвистики. Именно такой подход лежит в основе предлагаемой ниже модели анализа нормативного документа, используемой в автоматизированной системе, обеспечивающей качество регионального законотворчества [7].

Формальное описание модели

В свете современных тенденций в психолингвистике пересмотрено понятие «восприятие текста». Теперь оно связано с так называемой «психологией образа» и имеет ряд особенностей.

Первой особенностью нового взгляда на проблему восприятия текста является предметность любого восприятия. Психологами экспериментально доказано, что при чтении воспринимаются не отдельные свойства предметов, описанные лексическими единицами, синтезируемые в образ, а затем относимые к тому или иному предмету, а сам образ предмета как часть предметного мира. Образа предмета нет вне образа других предметов, вне целостности нашего представления о мире.

Второй особенностью является изменяющийся характер образа, обусловленный образом изменяющегося мира. Статичность образа временна и диктуется конкретной задачей на момент чтения, а динамичность постоянна, независима от задачи восприятия текста, хотя пути осуществления этой динамики могут быть различны.

Итретьей особенностью является то, что в образе отображены не внешние признаки предметов, а их значение. Иными словами, образы предметов несут в себе их значения, закрепленные в языковых формах, но не с прагматической точки зрения, а с точки зрения социальной природы [8, 9].

Применительно к анализу текста правового документа, в частности, законопроекта эти положения психолингвистики выглядят следующим образом.

Предметность восприятия текста означает воссоздание образа предмета правового регулирования в сознании субъекта коммуникативной деятельности. Этот образ формируется как часть предметной области права, занимающей ту нишу правового пространства, которая требует юридической регламентации. Ее границы определяются предметами ведения Российской Федерации и ее субъектов и предметами совместного ведения. Они со-

ставляют основу механизма установления предметного соответствия рассматриваемого законопроекта другим источникам законодательства как части юридической экспертизы правового акта.

Динамический характер образа правового регулирования обусловлен теми явления-

ми социальной жизни, которые имели место до подготовки законопроекта, и будут иметь место после реализации его основных положений. Они выражены в накопленном правовом опыте и представлены правовыми актами. Анализ законности документа направлен на воссоздание динамики формирования этого правового образа и прогнозирование даль-

нейших изменений, поскольку развитие общества обязательно приведет к изменению восприятия данного документа и отношения к выраженным в нем положениям.

Ипоследнее. Те социально значимые признаки, которые позволяют идентифициро-

вать предметный образ, закреплены в правовых штампах и клише, правилах и приемах законодательного стиля. Определение их выразительности составляет суть лингвистиче-

ской экспертизы.

Образное восприятие текста нормативного документа субъектом правовой деятельности можно описать следующим образом (см. рис.1). В результате перцептивного анализа, который носит избирательный эвристический характер, происходит опознание и удержание в оперативной (кратковременной) памяти образов отдельных лингвистических единиц. Далее происходит одновременный (параллельный) процесс выделения в содержании образа-слова значимых для предметной области и ситуации семантических компонентов

ωk и синтеза, имеющего также эвристический характер, этих компонентов в некие обобщенные предметные образы Ωn, которые затем формируют глобальный образ содержания текста Tj, являющийся элементом образа предметной области [1].

ωi – ОБРАЗЫ ЗНАЧИМЫХ ЯЗЫКОВЫХЕДИНИЦ

ОБРАЗЫ ЛЕКСИЧЕСКИХ ЕДИНИЦТЕКСТА

Рис.1 Образное восприятие текста правового документа

Экспериментально установленный эвристический характер восприятия текста определяет необходимость использования аппарата теории вероятностей для формального описания модели. При этом ее основной задачей является формирование наиболее вероятного для документа тематического образа Ωd : P(Ωd ,Td ) = max P .

Определим основные понятия, используемые при описании. Тематическим образом документа (образом текста в сознании субъекта правовой деятельности) будем считать структурно упорядоченный набор темообразующих понятий, выражающий целевое назначение текста в терминах предметной области.

Под темообразующим понятием (значимой лексической единицей) понимается слово, часть слова или словосочетание, состоящее из двух и более терминов предметной области, включенных в словарь автоматизированной системы. Будем также считать, что темообразующий контекст – это законченный смысловой фрагмент текста документа, порождающий не более одной темы. В свою очередь, документ представлен терминологическим портретом, исключающим стоп-слова (предлоги, союзы и т.д.), появление которых обусловлено не учитываемой моделью грамматикой языка.

Определим вероятность формирования тематического образа документа P(Ωd ,Td ) .

Пусть документ D состоит из N тематических контекстов dn, n={1, ..., N}, представленных тематическими образами:

Ωn (t) ={ωi (t)},

(1)

t={1, ...,T} – индекс темы;

i={1, ..., It} – номер темообразующего понятия.

Тогда каждый контекст dn образован In количеством темообразующих понятий. При фиксированном значении темы t , в пределах одного контекста значения ωi ( t ) являются

независимыми в совокупности, поэтому вероятность формирования тематического образа контекста dn определяется выражением:

(2)

Тематический образ Ωn контекста dn достоверно не известен. Его появление обу-

словлено наличием и содержанием предыдущего тематического образа, находящегося с ним в ассоциативной связи. Тогда вероятность его появления вычисляется по формуле условной вероятности:

P(Ωn ,tn Ωn−1 ,tn−1 ) = p(Ωn ,tΩn ;Ωn−1,tn−1 ) p( n ,tn )

(3)

при условии, что p(Ωn ,tn ) > 0 , где

p(Ωn ,tn ;Ωn−1 ,tn−1 ) – вероятность совместной встречаемости двух тематических об-

разов;

p(Ωn ,tn ) – вероятность формирования тематического образа контекста.

Если же допустить, что p(Ωn ,tn ) = 0 , тогда вероятность совместной встречаемости двух тематических образов p(Ωn ,tn ;Ωn−1 ,tn−1 ) тоже равна 0, следовательно, тематические

образы взаимно независимы, что противоречит исходному условию.

Из формулы (3) и предположения, что тематические образы связаны ассоциативной связью, вероятность появления любого тематического образа в одном контексте dn определяется по формуле Байеса [10]:

Тогда, появление любого тематического образа документа на упорядоченном множестве темообразующих контекстов ( D = ∑dn ) зависит от вероятности формирования

n

всех входящих в документ тематических образов и определяется:

n и t , P(Ωn ,tn ) = P(Ωn ,tn Ω1 ,t1;Ω2 ,t2 ;K;Ωn−1 ,tn−1 ) ,

(5)

где P(Ωn ,tn Ω1 ,t1;Ω2 ,t2 ;K;Ωn−1 ,tn−1 ) – условная вероятность появления тематического образа документа.

При этом, тематический образ tn, имеющий максимальную вероятность появления P(Ωn ,tn ) на множестве темообразующих контекстов будет считаться наиболее вероятным

для документа D.

На основании формального описания модели (5) и, из уравнения Колмогорова–Чеп- мена [11], определяющего свойства случайного процесса, вероятность формирования тематического образа документа определяется как условная:

P(Ωn ,tn ) = P(Ωn ,tn Ωn−1 ,tn−1 ) = ∑ p(Ωn+1 ,tn+1 Ωn ,tn ) p(Ωn ,tn Ωn−1 ,tn−1 )

n

(6)

при истинности следующих выражений:

1. P(Ωn ,tn ) > 0 – тематический образ сформирован;

Электронный журнал «ИССЛЕДОВАНО В РОССИИ» 970 http://zhurnal.ape.relarn.ru/articles/2002/088.pdf

ского образа от следующих друг за другом контекстов равна нулю, и равна единице в рамках одного контекста.

Выражение (6) с учетом (3) определяется собственной вероятностью формирования тематического образа контекста p(Ω,t) и силой ассоциативных связей между тематиче-

скими образами p(Ωn ,tn Ωn−1 ,tn−1 ) . Здесь вероятность перехода есть не что иное, как ус-

ловная вероятность возникновения n-го тематического образа при наличии предыдущего (за один шаг).

Параметры модели

Определим параметры модели, которые позволят сформировать тематический образ правового документа. Но прежде, отметим особенности текста закона, на примере которого рассмотрим одно из возможных применений модели.

При анализе законов и других нормативных документов необходимо учитывать требования правовой лингвистики. Например, правильнее было бы вычислять условную вероятность p(i j) с учетом возможно встретившегося не наблюдаемого, но «подразумеваемо-

го» автором некоторого понятия q по формуле p(i q) p(q j) . Однако, правила правовой

лингвистики требуют использования таких лингвистических конструкций, которые бы обеспечивали однозначное толкование текста. Поэтому в предложенной модели принято следующее ограничение: в темообразующих контекстах нормативного документа не учитываются ассоциативные связи, выраженные неявно.

Еще одной особенностью текста закона является его структура. Закон состоит из отдельной статьи, указывающей на цели, содержательной части и дополнительных – преамбулы и дефинитивной статьи, посвященной описанию используемой в документе терминологии. Понятно, что наличие дефинитивной статьи оправдано в случае высокой специфичности используемой лексики, но не оказывает влияния на формирование тематического образа документа. Для тематического анализа и информативно-целевой интерпретации содержания важно функциональное назначение каждого раздела текста, включая заголовки статей. Следовательно, параметры модели должны содержать коэффициент тематической силы контекста rn.

Дополнительно введем следующие обозначения. Пусть ω′ – количество темообразующих понятий документа, относящихся к T количеству тем, которые, в свою очередь, представляют L – отраслей законодательства. И пусть ωtl означает число темообразующих

понятий; ∑∑ωtl =ω′, t={1, ..., T}; l={1, ..., L};

l t

Семантический вес темообразующего понятия ωtl в контексте документа определяет

коэффициент тематической силы контекста rn:

qtl = rn ωtl , где

n {1, 2, 3} – номер контекста, соответствующий целевой статье, заголовку содержательной статьи или содержательной статье.

Пороговым значением, определяющим принадлежность отрасли законодательства предметной составляющей тематического образа, будем считать величину σпор:

p(ωtl ) = ωqtl′ – собственная вероятность формирования тематического образа на множест-

ве темообразующих понятий документа.

Из выражения (7) следует, что параметрами модели являются: t – номер темы, l – номер отрасли законодательства; ωtl – частота встречаемости темообразующего понятия в тексте, rn – коэффициент тематической силы контекста.

Классификация закона по отраслям законодательства

Одно из возможных применений предложенной модели – автоматическая классификация закона по отраслям законодательства, рекомендованным Указом Президента РФ

[12].

В этом случае процесс анализа, отражающий первую особенность предлагаемой модели, связан с выделением в содержании образа-слова или понятия значимых для предметной области и ситуации, семантических компонентов ωk (понятий) и синтеза их в некую обобщенную предметную составляющую, состоящую из одного или нескольких независимых, логически объединенных, тематических компонентов. Здесь частотные характеристики встречаемости темообразующих понятий являются в совокупности независимыми случайными величинами, такими, что ∑ pi (ωtl ) =1. Согласно теории вероятностей, мерой от-

i

клонения случайной величины от центра распределения спектра темообразующих понятий является ее среднеквадратичное отклонение. Оно и определяет принадлежность отрасли законодательства предметной составляющей тематического образа документа.

На примере текста закона Тульской области «О начальном профессиональном образовании» № 233-ЗТО от 15 февраля 2001 г. (Текст) покажем выполнение автоматизированной системой поддержки законотворческой деятельности [7] процедуры предметного анализа и классификации, по отраслям законодательства. Классификатор правовых актов, в этом случае, исполняет роль интерпретатора предмета правового регулирования. Он имеет трехуровневую иерархическую структуру – <l, N>, где l ={Kl, Kt, Ktc} – код записи классификатора, Kl – код отрасли законодательства, Kt – код темы, Ktc – код тематической составляющей, N – обозначение отрасли.

Первым этапом формирования предметной составляющей тематического образа документа является формирование вектора-описания (дескриптора) документа: D(t) = {t, q(t), p(t)}, где t={1, ..., T} – номер темы в анализируемом документе, соответствующий классификатору отраслей законодательства [12];

I

q(t) = ∑rn ωi (t) – семантический вес темообразующих понятий документа, определяемый

i=1

коэффициентом тематической силы контекста rn и частотой встречаемости понятия ωi ( t ),

где i={1, …, I} – количество темообразующих понятий, относящихся к одной теме;

p(t) = q(t)ω′ – собственная вероятность формирования тематического образа на множестве темообразующих понятий документа;

иопределение порога значимости по формуле (7).

Втаблице 1 представлен вектор описания текста. Последовательность формирования тематических образов на этом этапе не оказывает влияния на результат, поэтому для

удобства пояснения данные таблиц упорядочены по значениям p(t) и t. Для текста получено значение σпор=21,659.

Следующим шагом является группировка составляющих q(t) по семантическим компонентам полного тематического образа. При этом учитываются следующие правила.

1.Тематическая составляющая является значимой компонентой тематического образа документа, если ее семантический вес превышает или равен суммарному семантическому

весу всех прочих составляющих данной отрасли (например, для t = «130.010.040», q(t1)

5

= 57, что равно ∑q(ti ) для всех остальных t = «130.ХХХ.ХХХ»).

i=2

2. Тема отрасли считается значимой компонентой, если ее семантический вес превышает или равен суммарному семантическому весу каждой тематической составляющей отрасли (например, для t = «080.060.000», q(t) = 7, что больше чем суммарный вес для t = «080.010.000», равный 5, и для t = «080.070.000», равный 2).

3. Отрасль законодательства считается значимой компонентой, если ее семантический вес превышает или равен суммарному семантическому весу каждой составляющей отрасли или не выполняются условия 1 и 2.

Сформированный таким образом обобщенный тематический образ представлен в таблице 2. Далее вычисляется среднеквадратичное отклонение (7) для каждой темообразующей компоненты (значения σ(l) таблицы 2).

Решающим правилом для классификации регионального закона является следующее. Компоненты тематического образа документа определяют предмет правового регулирования в том случае, если мера их рассеяния по тексту не меньше среднеквадратичного отклонения от центра распределения спектра темообразующих понятий: σ(l) ≥σпор .

На основании этого правила для текста, взятого в качестве примера, предмет правового регулирования представляют следующие разделы классификатора (табл.2): «Образовательные учреждения и иные образовательные организации», «Бюджеты субъектов Российской Федерации».

Электронный журнал «ИССЛЕДОВАНО В РОССИИ» 973 http://zhurnal.ape.relarn.ru/articles/2002/088.pdf

Для сравнения результатов в таблице 3 представлены сведения о том, каким образом данный закон классифицирован в правовых информационных системах, функционирующих на территории Тульской области и содержащих региональное законодательство.

Таблица 3

Классификация по отраслям законодательства закона «О начальном профессиональном образовании» №233-ЗТО от 27.02.2001 г.

Формирование поискового запроса, содержательно ориентированного относительно законопроекта

Еще одно применение предложенной модели – автоматическое формирование поискового запроса для правовой информационно-справочной системы. Такой запрос обеспечивает подбор электронных копий документов по содержательному критерию и предназначен для содержательной экспертизы правового акта – установления соответствия его