10545

09.04.01-УММ-М.1.2.5-ПИС-ЛК10- Semantic Web (Семантическая паутина). Поиск знаний в семантической паутине.

Данные должны передаваться в виде небольшого количества стандартных форматов

(например HTML, XML, JSON).

6.Особенности поисковых систем. Структура организации и алгоритм работы.

1) Поисковый робот: Как браузер просматривает страницы, анализируя и выделяя

существенные компоненты и отсылает их в специальном виде на сервера поисковика,

далее по ссылкам переходит на другую страницу. Порядок обхода страниц, частота визитов и алгоритм выделения значимой информации зависит от конкретного языка.

Индексация– выделение наиболее значимых термов из документа и соханение их в специальном виде (Под термом понимают все слова или понятия) D->{t1, t2, …, tn} Обратная индексация – для многих термов ищются документы, в которых они

встречаются: t1->D1, D2, …, Dm.

Ранжирование – упорядочивание по важности. Поиск определяет множество наиболее

релевантных (соответствующих запросу) документов и выдает их в вершине поиска.

Наивный алгоритм ранжирования:

1)частота встречающегося терма

2)определение взвешенной суммы терма среди других слоев.

Модели поиска:

Подходы:

1)Логическая модель: t1andt2ort3nott4

2)векторная модель

3) Вероятностный поиск – Доказательство оценивается по вероятности пользователя встретить в нем свой поисковый запрос.

09.04.01-УММ-М.1.2.5-ПИС-ЛК10- Semantic Web (Семантическая паутина). Поиск знаний в семантической паутине.

7.Язык запросов поисковых систем.

Язы́к запро́сов— это искусственный язык, на котором делаются запросы к базам

данных и другим информационным системам, особенно к информационно-поисковым

системам.

Примеры:

SQL — де-факто стандартный язык запросов к реляционным базам данных.

Language Integrated Query — расширение для некоторых языков

программирования в .NET Framework, добавляющее к ним SQL-подобный язык

запросов.

XQuery — язык запросов, разработанный для обработки данных в формате XML.

XPath— язык запросов к элементам XML-документа.

Язык, на котором формулируются запросы к поисковым системам называется языком

поисковых запросов или информационно-поисковым языком.

В различных поисковых системах язык запросов может различаться, однако обычно

он является некоторым подобием языка регулярных выражений с дополнениями, связанными со спецификой работы той или иной поисковой системы. Знание и правильное применение языка запросов конкретной поисковой машины улучшает и упрощает пользователю процесс поиска информации.

Язык поисковых запросов состоит из логических операторов, префиксов

обязательности, возможности учета расстояния между словами, морфологии языка,

регистра слов, расширенных операторов, возможностей расширенного поиска,

уточнения поиска.

Специльные операторы:

allintitle: чтобы результаты (терм-запрос) находились в заголовке related: поиск в найденном

allinURL: ссылка с запросом

Ex: Related: цветы ~ полевые

^

|

синонимы

inURL: поик найденного запроса в тексте гиперссылки. site: поиск в каком-либо сайте

link: поиск по сайтам, кот. ссылаются на данный запрос. (link: адрес) into: адрес – выдает информацию о данном адресе

define: слово – поиск толкования safesearch: безопасный поиск

Filetype: тип функции

Scholar – поиск в научных статьях и документах

Cache: адрес|слово

allintext: поиск ключевых слов только в тексте страницы allinlinus: слова – поиск по названию гиперссылки

09.04.01-УММ-М.1.2.5-ПИС-ЛК10- Semantic Web (Семантическая паутина). Поиск знаний в семантической паутине.

Аксиомы задают условия соотнесения понятий и отношений. Они выражают какие-то

утверждения, вводимые в онтологию в готовом виде, из которого могут быть

выведены другие утверждения. Аксиомы позволяют выразить ту информацию, которая не может быть выражена в онтологии посредством построения иерархии понятий и

установления отношений между ними.

Экземплярэто отдельный представитель класса или категории.

У каждого класса есть значения, называемые слотами и на эти слоты накладываются

ограничения, называемые аспектами или гранями.

Онтология – формальное явное описание понятий в рассмотренной предметной области, свойств каждого понятия, описывающий различные атрибуты и поведения (слоты) и ограничения, накладываемые на слоты.

Онтология вместе с конкретными экземплярами и составляет БЗ.

Критерии оценки Онтологии:

•Ясность: онтология должна быть ясной и легко передавать подразумеваемый

смысл. Она должна быть объективной;

•Последовательность: в ней должны содержаться утверждения, которые не противоречат друг другу, иерархии понятий, связывающим их отношениям, экземплярам.

•Возможность расширения: наличие возможности введения новых элементов без

пересмотра остальных элементов;

•Минимальная степень специализации онтологии: нежелательность полного

подчинения онтологии конкретной задаче, что может осложнить ее последующее

использование в других задачах.

Классификация онтологий:

1)Онтологии верхнего уровнявыделяют только наиболее общие и абстрактные

понятия (ex. Сущность, объект)

2)Онтологии средней зоны – представляют собой мир в целом и в какой-то его

конкретной области. Как правило, сожержат от 500 до 1000 понятий (концептов)

Онтологии нижней зоны – соотносятся с конкретной предметной областью и

описывают ее специфику. Содержат большое количество аксиом данной предметной

области, строятся как правило экспертами.

10. Процесс разработки онтологий для семантической паутины.

•Онтологии необходимо разрабатывать затем, чтобы:

•Разделять общее понимание о структуре информации между людьми и между программными агентами.

•Получить возможность повторного использования знания и той или иной предметной области. Это оберегает от изобретения велосипедов, а так же вводит

стандарты в данной области, обеспечивающие совместимость.

•Чтобы явно записать, что мы знаем о какой-то области

•Чтобы отделить знания об области от процедур. Дает повторное использование

знаний и повторное использование процедур.

09.04.01-УММ-М.1.2.5-ПИС-ЛК10- Semantic Web (Семантическая паутина). Поиск знаний в семантической паутине.

Разработка онтологий находится на более высоком уровне абстракции, чем ООП

проектирование.

Построение онтологий может быть в общих чертах описано при помощи следующего

итеративного процесса, в котором каждые из нескольких этапов могут выполняться параллельно и по неск-ко раз.

Шаг 1. Определение области и масштаба онтологии

•Какую область будет охватывать онтология?

•Для чего мы собираемся использовать онтологию?

•На какие типы вопросов должна давать ответы инф-я в онтологии?

•Кто будет использовать и поддерживать онтологию?

•Онтология не должна содержать ВСЕ возможные знания о домене

oне требуется уточнять или обобщать более, чем необходимо oне требуется включать все возможные свойства классов

Шаг 2. Рассмотрение вариантов повторного использования существующих онтологий

•Библиотекионтологий

1.DAML ontology library 2. Protege ontology library

•Онтологииверхнегоуровня

1. IEEE Standard Upper Ontology 2.Cyc

•Общиеонтологии

1. DMOZ 2.WordNet

•Специальныеонтологии

09.04.01-УММ-М.1.2.5-ПИС-ЛК10- Semantic Web (Семантическая паутина). Поиск знаний в семантической паутине.

1. UMLSSemanticNet 2. GO (Gene Ontology)

•БиблиотекаонтологийOntolingua

•Общедоступные коммерческие онтологии (например, UNSPSC,

RosettaNet, DMOZ

Шаг 3. Перечисление важных терминов в онтологии

•Какие термины являются ключевыми

•Каковы свойства этих понятий

•Что мы хотим сказать (выразить) этими термами?

•неформально сгруппировать

•перефразировать и уточнить термины, чтобы получить неформальные

определения концептов

•нарисовать неформальную диаграмму

Шаг 4. Определение классов и иерархии классов

•Нисходящая разработка - Начиная с общих понятий

•Восходящая разработка - Движение от конкретных классов

•Комбинированная разработка

•Организация классов в таксономию (установка отношений наследования) a.Класс может иметь множество суперклассов (множ. насл.)

b.Все родственные понятия в иерархии классов должны быть на одномуровне иерархии

c.Имена классов должны быть или все в единственном числе или всев множественном

числе (Animalisnotakind-ofAnimals).

•Документация классов

Шаг 5. Определение свойств классов - слотов

•Подкласс наследует все слоты от всех суперклассов.

Шаг 6. Определение фацетов слотов (ограничений на слоты)

•Тип значений

1. Строка 2. Число 3. Булево значение 4. Нумерованные слоты (один из множества) oСлоты-экземпляры - ссылка на другой класс

•Количество значений (кардинальность)

•Свойства значений 1. Минимум, максимум 2.Значение по умолч.

Шаг 7. Создание экземпляров - 1.выбрать класс, 2.создать отдельный экземпляр

этого класса 3. ввести значения слотов.

11.Технологии Semantic Web. OWL.

Семантические технологии Web -это эффективный способ представления данных в

интернете.

К семантическим технологиям Web относятся следующие:

1.Глобальная схема имен (URI);

2.Стандартный синтаксис описания данных (RDF);

3.Стандартные способы описания свойств данных (схема RDF);

4.Стандартные способы описания связей между объектами данных (онтология, определяемая с помощью онтологического языка OWL (OntologyWebLanguage)).

09.04.01-УММ-М.1.2.5-ПИС-ЛК10- Semantic Web (Семантическая паутина). Поиск знаний в семантической паутине.

Онтологический язык Web (WebOntologyLanguage), рекомендуемый консорциумом W3C, помогает в выражении онтологий. Рабочий OWL добавляет больше словарных

возможностей для описания свойств и классов, чем RDF или схема RDF. В частности,

он позволяет описывать связи между классами (например, неперекрываемость), мощность множества (например, "ровно один"), равенство, более богатую типологию

свойств и их характеристики (например, симметрия).

Онтологический язык Web на основе OWL разработан для использования

приложениями, которые должны работать с содержанием информации, а не просто

предоставлять ее пользователю. OWL улучшает возможности автоматической интерпретации содержимого интернета по сравнению с теми, что могут обеспечить XML, RDF и схема RDF. Это происходит благодаря тому, что OWL предоставляет

дополнительные словарные возможности наряду с формальной семантикой. OWL включает три подъязыка: полный OWL (OWLFull), OWLDL и облегченный OWL (OWLLite) (перечислены в порядке убывания их выразительных возможностей).

Полная версия онтологического языка Web на основе OWL называется owlFull. Этот

язык использует все базисные элементы языка OWL и позволяет комбинировать их

случайным образом с RDF и схемой RDF. Полный OWL совместим "снизу вверх" с RDF,

как синтаксически, так и семантически: любой разрешенный документ RDF является

также разрешенным документом OWLFull. Маловероятно, что какие-либо интеллектуальные программные средства способны поддерживать все возможности

OWLFull, поскольку этот язык предлагает максимум выразительных средств и

синтаксической свободы RDF при отсутствии вычислительных гарантий.

OWLDLпредназначен для тех пользователей, кому необходим максимум

выразительных средств без потери вычислительных возможностей.OWLDL - это

подъязык конструкций языка OWLFull с некоторыми ограничениями, такими как разделение типов (typeseparation) (например, класс не может быть одновременно

индивидуальным элементом или свойством, а свойство не может одновременно быть

индивидуальным элементом или классом).

OWLLiteпредназначен для пользователей, которым необходима классификационная иерархия и простые ограничительные возможности. Преимуществом этого языка

являются большая легкость его понимания и внедрения по сравнению с двумя

другими. Но в то же время его выразительные возможности гораздо ниже. Например, хотя OWLLite и поддерживает ограничения мощности множества, единственными допустимыми значениями этого параметра являются 0 или 1

Примерами онтологий являются каталоги сайтов интерактивных покупок, таких как Amazon.com, стандартные терминологии той или иной области деятельности,

например, UNSPSC - TheUnitedNationsStandardProductsandServicesCode (система

стандартных продуктов и услуг ООН), или различные таксономические системы

интернета, такие как категории сайта "MyYahoo".

12.Компоненты онтологического языка Web на основе OWL.

Основные компоненты OWL включают классы, свойства и индивидуальные элементы.

09.04.01-УММ-М.1.2.5-ПИС-ЛК10- Semantic Web (Семантическая паутина). Поиск знаний в семантической паутине.

Индивидуальные элементы - это элементы классов; свойства могут связывать ихдруг

с другом. Например, индивидуальный элемент Smithможет быть описан

какэлемент,принадлежащий классуPerson(индивидуум).

СвойствоhasEmployer(имеет работодателя) может связывать его с другим

индивидуальным элементом - WebifySolutions, указывая, таким образом, что

Smithработает в компании WebifySolutions.

Листинг 3. Индивидуальный элемент OWL:

<owl:Thingrdf:about="SmithAccount">

<rdfs:type="#Account"/>

</owl:Class>

Элемент rdf:typeэто свойство RDF, которое связывает индивид.элемент с тем классом, к которому он принадлежит. Листинг 3 указывает, чтоэл-т

SmithAccountпринадлежит к типу Account.

Рис. 2. Онтология OWL, описывающая организационную структуру компании

WebifySolutions

13.Применение онтологий. Значение онтологий для бизнеса.

Онтологии могут быть использованы при решении следующих задач:

для совместного применения людьми или программными агентами

для возможности накопления и повторного использования знаний в

предметной области

для создания моделей и программ, оперирующих онтологиями.

09.04.01-УММ-М.1.2.5-ПИС-ЛК10- Semantic Web (Семантическая паутина). Поиск знаний в семантической паутине.

для "извлечения значимой информации из web-страниц при индексировании".В

некоторой степени данная технология частично закрывает потребность в

семантическом поиске.

Часто онтологии используют в качестве:

"Словаря предметной области". Онтология содержит общую терминологическую

базу предметной области, поэтому разработчики программного обеспечения могут использовать термины из онтологии для документирования своего продукта и для формирования пользовательского интерфейса, в том числе и многоязычного.

"Отображения на базу данных". Онтология предоставляет набор базовых

терминов предметной области, с которыми приходится иметь дело в любом

процессе измерения. Поэтому онтология является удобным базисом для

разработки схемы данных измерительной системы. Она не является полной,

поскольку любой конкретный процесс измерения имеет частные особенности,

не задаваемые на уровне онтологии. Тем не менее, она определяет базовые понятия, которые в той или иной форме присутствуют или должны

присутствовать в любой схеме данных.

"Формата хранения метаданных". Свойства онтологических терминов

определяют состав и формат представления метаданных, содержащихся в системе. Эффективная поддержка метаданных является одной из ключевых задач инженерии информационных систем. Привлечение онтологии позволяет

повысить эффективность реализации различных средств обработки данных

благодаря формированию богатых массивов метаинформации в машинночитаемой форме.

"Формата обмена данными". Открытые форматы обмена данными с внешними

системами, основанные на онтологии, существенно упрощают задачу

интеграции систем, относящихся к различным областям либо созданных

различными разработчиками.

Значение онтологий для бизнеса:

IT-системы организуют значения с помощью реляционных моделей данных, линейных

файлов, объектно-ориентированных моделей или специально разработанных моделей данных. Время от времени, в связи с изменениями бизнес-требований, возникает необходимость добавления новых элементов и связей в реляционные модели данных

или объектно-ориентированные модели.

Более того, если организация использует множественные приложения от различных

поставщиков, то придется копировать одни и те же модели во все базы данных приложений. Например, банк предлагает набор различных продуктов для

обслуживания разнообразных категорий клиентов. Корпоративному клиенту может

потребоваться услуга по обнаружению мошенничества, а обычному потребителю

окажется достаточно функциональных возможностей интерактивного осуществления

банковских операций с помощью интернета. Обычно банк приобретает приложения у нескольких поставщиков, но каждое из них повторяет одну и ту же общую информацию

- номера счетов, имена клиентов и т. д. - в своей базе данных. По мере того как