2. Общее представление о естественно-языковых системах (ЕЯ-системах) и автоматизированных системах обработки текстовой информации.

http://fccl.ksu.ru/issue001/spring.98/pol_thes.pdf

Идея обработки естественно-языкового текста (ОЕЯТ) на вычислительной машине возникла практически сразу же после появления первых ЭВМ. К наиболее ранним подходам в этой области можно отнести идею теста Тьюринга (.Alan M.Turing. Computer Machinery and Intelligence. Mind, 59: 433-460, 1950), который долгое время считался главным способом практической проверки возможностей компьютера по моделированию языковой способности .(Patrick Hayes. Turing Test Considered Harmful, Proc. of 14-th International Joint Conference on Artificial Intelligence (IJCAI-95), Montreal, Canada, August, 20-25, 1995, v.1, p.972-97). Ранние работы по ОЕЯТ были тесно связаны с практическими нуждами машинного перевода (.И.К.Бельская. Язык человека и машина,- М.: Изд-во МГУ, 1969, в 2-х т). Появление формальных моделей для ОЕЯТ и зарождение направления компьютерной лингвистики связывают с работой .(N.Chomsky. Three Models for Description of Language.//IRE Trans. Informat. Theory, 1956, v.IT-2,p.113-)

Сегодня ОЕЯТ - это бурно развивающаяся область научных исследований и коммерческих разработок. В настоящее время в области компьютерной лингвистики ежегодно в мире проводится более 40 конференций, посвященных различным проблемам обработки естественных и искусственных языков, завершены или находятся в стадии разработки ряд крупных международных научных проектов, более 30 крупных издательств в мире выпускают научную продукцию (журналы, труды конференций, сборники статей, книги) по этой тематике, университеты развитых стран систематически готовят специалистов по этой специальности. Неуклонно растет количество программных продуктов, связанных с ОЕЯТ.

Согласно, компьютерная лингвистика определяется как научная дисциплина, которая находится на границе между лингвистикой и информатикой (computer science). Она занимается вопросами компьютерного моделирования (и исследования) языковой способности человека. Эта наука относится к области когнитивных наук и перекрывается с областью искусственного интеллекта (ИИ), другой ветвью информатики, которая нацелена на компьютерное моделирование и исследование человеческого сознания. В самой компьютерной лингвистике выделяют прикладную и теоретическую области. Обработка естественного языка относится к прикладной области компьютерной лингвистики и направлена на создание программных продуктов, моделирующих уникальную способность человека, как биологического вида, - способность к общению (письменному и устному) на естественном языке. Другая часть компьютерной лингвистики, теоретическая, занимается проблемами искусственных языков. Достижения последних лет в области современной логики, искусственного интеллекта и компьютерной лингвистики создали новые предпосылки для исследования природы семантических связей в естественном языке в целях построения формальных моделей для естественно-языковых форм: предложения, высказывания, текста. Прогресс в области информационных технологий обеспечил необходимые предпосылки для компьютерной реализации разработанных моделей.6 Таким образом, актуальность работы обуславливается потребностями, возникшими в области обработки естественно- языкового текста в связи с бурным развитием компьютерных средств коммуникации.

Автоматизированные системы

http://www.dissercat.com/content/logiko-lingvisticheskii-integrator-russkoyazychnykh-tekstov-dlya-informatsionnoi-sistemy-v-s

Значительный рост объёмов текстовой информации, используемой в строительстве обуславливает повышенный интерес к разработке систем, позволяющих автоматизировать процесс её (информации) обработки и анализа. Автоматизированные системы, решающие подобные задачи относятся к классу интеллектуальных. Их анализ позволил выявить следующие особенности:

- наработки в области проектирования подобных систем в строительстве отсутствуют;

- из-за высокой стоимости программного обеспечения и сложности требуемой лингвистической технологии, их разработка в других предметных областях носит фрагментарный характер и ограничивается простыми и дешёвыми решениями в ущерб качеству и эффективности;

- из-за особенностей русского языка аналогичные иностранные системы, разработанные для других предметных областей удовлетворительно работающие с английскими текстами (как наиболее развитые), не позволяют обеспечить требуемый уровень качества при работе с текстами на русском языке.

2. Уровни организации языковой системы. Отношения между ними и различные подходы к их выделению.

http://ru.wikipedia.org/wiki/%D0%AF%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D0%B0%D1%8F_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D0%B0

http://tapemark.narod.ru/les/539a.html

http://www.lnggru.ru/art_28.htm

основные ярусы языковой системы, её подсистемы, каждая из которых представлена «совокупностью относительно однородных единиц» и набором правил, которым подчиняются их использование и классификация. Единицы одного уровня языка способны вступать друг с другом в синтагматические и парадигматические отношения (к примеру, слова, соединяясь, образуют словосочетания и предложения), единицы разных уровней могут лишь входить одна в другую (так, фонемы составляют звуковые оболочки морфем, из морфем состоят слова, из слов — предложения).

В качестве основных выделяются следующие уровни языка:

• фонемный;

• морфемный;

• лексический (словесный);

• синтаксический (уровень предложения).

Уровни, на которых выделяются двусторонние (обладающие планом выражения и планом содержания) единицы, называются высшими уровнями языка. Некоторые учёные склонны выделять лишь два уровня: дифференциальный (язык рассматривается как система различительных знаков: звуков или письменных знаков, замещающих их, — различающих единицы семантического уровня) исемантический, на котором выделяются двусторонние единицы.

Единицы одного уровня могут существовать в абстрактной, или «эмической» (например, фонемы, морфемы), и конкретной, или «этической» (фоны, морфы), формах, что не является основанием для выделения дополнительных уровней языка: скорее имеет смысл говорить о различных уровнях анализа.

Понятие уровней в лингвистике (в онтологическом смысле) чаще всего связывают с различного рода наборами или совокупностями единиц. “Исходный пункт выделения уровней обычно один и тот же: уровни выделяются соответственно основным единицам языковой системы. Различия между школами и исследователями определяются тем, какие из этих единиц считаются основными”