36. Использование эвм в языкознании
В связи с использованием компьютерных технологий следует различать два вида задач:
1) Решение, которое включает операции логической сортировки, статистической обработки и различного рода расчетов.
2) Решение, которое ведет к выбору альтернатив и выбору последующих решений.
Решение задач второго типа связано с переработкой информации, предусматривающей использование специальных знаний. Применение компьютерных технологий на этой стадии выдвигает на первый план проблемы понимания информации машиной и общение человека с машиной. О необходимости использования компьютерных технологий свидетельствуют также данные, согласно которым, огромное значение приобретают задачи осуществления машинного (автоматического) перевода.
В мире издается свыше ста тысяч научно-технических журналов на различных языках, двести тысяч патентов и свидетельств об открытиях, а переводится лишь 10-15%. В то же время известно, что ценность знаний и ценность информации определяется их работоспособностью, когда старые знания служат основой для получения новых.
Обеспеченные базой знаний, внутренне структурируемые и взаимосвязанные, комплексы фактов с помощью конкретных программ сами могут выступать в качестве основы для развития определенной области знаний, при этой выдавая информацию на поступающие в различные системы запросы. Универсальным носителем знаний, принимающим активное участие в их формировании, является естественный язык. Язык – это не только форма выражения мыслей, но и универсальный способ содержательной организации и представления знаний. Это означает, что лингвистические аспекты выходят на передний план информатизации человеческой деятельности. В связи с этим меняется взгляд науки о языке: из описательной науки лингвистика превращается в непосредственную и динамическую производительную силу.
Реальным основанием для применения математических методов в лингвистике является объективное наличие в нем (в языке):
Количественных характеристик
Существование внутренней зависимости между качественными и количественными характеристиками языка
Такой лингвистический объект, как «текст», может рассматриваться как линейная цепочка дискретных символов, каждый из которых встречается с определенной частотой и обладает индивидуальными особенностями сочетания с другими символами.
Эти свойства текста могут быть проанализированы и описаны с помощью математической статистики и теории вероятности.
Однако наряду со свойствами, поддающимися математическому анализу, естественный язык обладает такими особенностями, которые являются своего рода препятствием на пути рассмотрения языка как жестко организованной системы дискретных знаков, упорядоченных таким образом, что с помощью ограниченного, незначительного количества знаков, путем их различных комбинаций, может быть построено неограниченное число комбинаций этих знаков.
Как показали исследования психологов, психолингвистов, специалистов в области инженерной лингвистики, в речевой деятельности принимают участие два уровня сознания: нижний (имплицидное сознание) и верхний (эксплицидное сознание). Естественно, что математически легче описать второй (верхний) уровень.
Актуальность задачи компьютеризации лингвистических отраслей науки продиктована требованиями более эффективного развития систем управления и информационных систем в различных областях науки и производства. К числу последних обычно относят следующие системы: системы, так называемого, машинного или автоматизированного перевода, создание машинных фондов различных языков, создание систем автоматического распознавания и понимания текста.
Решение этих задач возможно при наличии двух составляющих: высокоразвитой вычислительной техники и создание мощного лингвистического обеспечения, что реально только в том случае, если лингвисты работают в союзе с математиками, программистами и психологами. Лингвисты обладают знаниями в области структурной организации языков мира, в области особенностей построения текста на различных языках, в области лингвистического анализа системы языка в целом и так далее.
Лингвист ставит задачу на основе следующих знаний: знание определенных формальных признаков языковых единиц и их сочетаний; знание правил использования единиц и их комбинаций и знаний организации четкой последовательности осуществления анализа. На базе подготовленного таким образом языкового материала, а также отобранных алгоритмов и программ его анализа, компьютерный лингвист может решить сложнейшие задачи: машинный перевод, информационный поиск, автоматическое индексирование, реформирование и редактирование, автоматическое распознавание слуховых образов.