- •5. Сетевые модели представления знаний. Семантические сети. Вычислительные сети.
- •Формализация
- •2. Языки инженерии знаний.
- •3 Средства автоматизации разработки экспертных систем.
- •20.Классификация систем распознавания образов.
- •Случай 3.
- •2.4.Нелинейные дискриминантные функции
- •2.4. Ф-машины
- •Потенциальные функции как дф
- •1)Постановка задачи
- •Отрицательный знак перед rk(X) выбирается так чтобы dk(X) представляла наиболее правдоподобный класс . То-есть чемь меньше rk(X) тем более правдоподобно , что Xk . (далее менее важное до п.2)
- •3) Принятие решения по максимуму правдоподобия
- •4) Ошибки классификации
- •1) Проблема выбора информативных признаков
Формализация
Пусть X– универсальное множество, набор всех рассматриваемых утверждений. Показательное множество,, совокупность всех подмножеств множества, включая пустое множество,. Например, если:, то
По определению, масса пустого множества – ноль:
Массы оставшихся элементов показательного множества нормированы на единичную сумму:
Масса элемента показательного множества,, выражает соотношение всех уместных и доступных свидетельств, которые поддерживают утверждение, что определённый элементпринадлежитно не принадлежит ни одному подмножетсву. Величинаотноситсятолькок множествуи не создаёт никаких дополнительных утверждений о других подмножествах, каждое из которых, по определению, имеет свою собственную массу.
Исходя из приписаных масс, могут быть определены верхняя и нижняя границы интервала возможностей. Этот интервал содержит точную величину вероятности рассматриваемого подмножетсва (в классическом смысле), и ограничена двумя неаддитивными непрерывными мерами, называеыми доверие(belief) иправдоподобие(plausibility):
Доверие к множествуопределяется как сумма всех масс собственных подмножеств рассматривеаемого множества:
Правдоподобие – это сумма масс всех множествпересекающихся с рассматриваемым множеством:
Эти две меры соотносятся между собой следующим образом:
ПРИМЕР:
Шаферовский подход позволяет интерпретировать довериеиправдоподобиекак границы интервала возможного значения истинности гипотезы:
доверие≤ какая-то мера истинности ≤правдоподобие.
Полагается, что:
Довериек гипотезе = {сумма масс свидетельств, однозначно поддерживающих гипотезу}.
Правдоподобие= 1 − {сумма масс всех свидетельств, противоречащих гипотезе}.
Например, пусть у нас есть гипотеза «кот в коробке мертв.» Если для неё доверие 0.5 и правдоподобие 0.8, то это значит, что у нас есть свидетельства (общей массой 0.5) однозначно указывающие, что кот мертв; но имеются и свидетельстве (общей массой 0.2), однозначно указывающие, что кот жив (правдоподобие «кот мертв» = 1 — 0.2 = 0.8). Оставшаяся масса (дополняющая 0.5 и 0.2 до 1.0) — она же зазор между правдоподобием 0.8 и доверием 0.5 — соответствует «неопределённости» ("универсальной" гипотезе), наличию свидетельств, что кот в коробке точно есть, но не говорящих ничего о том, жив он, или мертв.
Итого, интервал [0.5; 0.8] характеризует неопределённость истинности исходной гипотезы исходя из имеющихся свидетельств.
Гипотеза |
Масса |
Доверие |
Правдоподобие |
Нулевая (нет кота) |
0 |
0 |
0 |
Жив |
0.2 |
0.2 |
0.5 |
Мёртв |
0.5 |
0.5 |
0.8 |
Универсальная (то ли жив, то ли мертв) |
0.3 |
1.0 |
1.0 |
Масса "нулевой" гипотезы устанавливается равной 0 по определению (она соответствует случаям «нет решения» или неразрешимому противоречию между свидетельствами). Эти приводит к тому, что доверие к "нулевой" гипотезе равно 0, а правдоподобие "универсальной" 1. Так как масса "универсальной" гипотезы вычисляется из масс гипотез "Жив" и "Мертв", то её доверие автоматически получается равно 1, а правдоподобие "нулевой" гипотезы 0.
Нечеткие множества и нечеткие отношения.
Любая логическая функция может быть представлена дизъюнктивнойиликонъюнктивнойнормальной формой, из чего следует, что для реализации исчисления высказываний достаточно всего трех операций: конъюнкции (&&), дизъюнкции (||) и отрицания (!). В классической логике каждая из этих операций задана таблицей истинности:
a b || a b && a !
-------- -------- ----
0 0 0 0 0 0 0 1
0 1 1 0 1 0 1 0
1 0 1 1 0 0
1 1 1 1 1 1
В нечеткой логике, в отличие от классической, вместо величин истина и ложь используется величина степень истинности, принимающая любые значения из бесконечного множества от 0 до 1 включительно. Следовательно логические операции уже нельзя представить таблично. В нечеткой логике они задаются фукнциями. Есть два способа реализации дизъюнкции и конъюнкции:
a || b => max(a, b)
a && b => min(a, b)
!a => 1 – a
Нечетким множеством Aв некотором непустом пространстве X называется множество паргде— функция принадлежности нечеткого множества A. Эта функция приписывает каждому элементу x степень его принадлежности нечеткому множеству A.
Виды функций принадлежности
Треугольная
| |
Трапециальная
| |
Гауссова
| |
Колоколообразная
| |
Сигмоидельная
|
Операции над нечёткими множествами
Пересечениемнечётких множествиназывается наибольшее нечёткое подмножество, содержащееся одновременно ви:
.
Произведениемнечётких множествиназывается нечёткое подмножество с функцией принадлежности:
.
Объединениемнечётких множествиназывается наименьшее нечёткое подмножество, содержащее элементыили:
.
Суммойнечётких множествиназывается нечёткое подмножество с функцией принадлежности:
.
Отрицаниеммножестваназывается множествос функцией принадлежности:
,
Нечеткие выводы на основе теории нечетких множеств.
Нечеткий вывод-получение нового логического заключения из правил вывода, которые хранятся в виде базы знаний (эти правила будем называть просто знаниями) и заданных фактов. В отличие от традиционных выводов все переменные в суждениях являются нечеткими переменными, т. е. переменными, составленными из нечеткой описательной информации. Это можно представить следующим образом:
Кроме этого можно рассмотреть следующий вывод:
Здесь A,A`,B,B` - описательная информация с нестрогим представлением (нечеткие множества). Делать выводы по формулам (6.1) и (6.2) с помощью классической логики (булевой логики) крайне трудно.
Рис. 6.1. Функция принадлежности, соответствующая слову «высокий», (а) и ее дискретное представление (б).
Нечеткая описательная информация А может быть представлена в виде функции принадлежности (рис. 6.1, а). Для удобства можно сделать дискретную выборку и представить эту функцию в виде множества следующих пар чисел (рис. 6.1, б):
где X - полное множество, степень принадлежности множеству А (в данном случае множеству «высокий человек»). Значения ai выбираются для простоты из отрезка [0,1] Следовательно, нечеткое множество А можно рассматривать как вектор, записав его следующим образом:
где m - число элементов (ограничено). Аналогично другую описательную информацию В можно представить следующим образом:
Если А-причина, а В-результат, то можно определить матрицу, отражающую причинные отношения между А и В. Она называется нечетким отношением R из А в В:
Заде определил следующим образом результат вывода В по формуле (6.1):
или
Где * - например, операция MIN, алгебраическое произведение или другая операция. Заде предложил использовать операцию MIN. В настоящее время эта операция широко распространена.
Алгоритмы нечеткого вывода Мамдани и Сугэно.
Мамдани:
Предположим, что базу знаний образуют правила: П1: если х есть А1 и y есть В1, то z есть С1,
… Пn: если х есть Аnи y есть Вn, то z есть Сn,
где х и у - имена входных переменных, z - имя переменной вывода, А1, Аn, В1, Вn, С1, Сn- некоторые заданные функции принадлежности, при этом чёткое знание z0 необходимо определить на основании x0, y0.
Вычисляются ф-ии принадлежности предпосылок, входящие в условия каждого из правил:
A1(x0),…An(x0),B1(y0),…Bn(y0)
Находятся уровни отсечения для предпосылок каждого из правил (с использованием операции минимума):
alpha1 = L1(A1(x0), B1(y0)),… alphan = Ln(An(x0), Bn(y0)),
где L1 = A1(x0) ^ B1(y0) = min{ A1(x0), B1(y0)}
Находятся усечённые функции принадлежности результатов:
C`1(z) = alpha1 ^ C1(z) = min{alpha1,C1(z)}
…
C`n(z) = alphan ^ Cn(z) = min{alphan,Cn(z)}
Нахождение результирующей функции принадлежности по всем правилам (Композиция)(с использованием операции max (обозначенной как "v")):
C(z) =C`1(z)v…vC`n(z) =max{C`1(z) , … , C`n(z)}
Нахождение значения z0 – одним из способов дефаззификации (defuzzification- от нечеткого к четкому):
Методы дефаззификации:
- центр масс (centroid)
- средний максимум (Mean of Maximums)
- наименьший максимум (Smallest of max)
- наибольший максимум (Largest of max)
- бисектор (bisectorofarea)(метод центра площади)
Сугэно:
Предположим, что базу знаний образуют правила: П1: если х есть А1 и y есть В1, то z1=a1x+b1y,
… Пn: если х есть Аnи y есть Вn, тоzn = anx+bny,
ai, bi – коэффициенты.
Вычисляются ф-ии принадлежности предпосылок, входящие в условия каждого из правил:
A1(x0),…An(x0),B1(y0),…Bn(y0)
Определяется степень истинности условий:
alpha1 = L1(A1(x0), B1(y0)),… alphan = Ln(An(x0), Bn(y0)),
где L1 = A1(x0) ^ B1(y0) = min{ A1(x0), B1(y0)}
Нахождение значений zсоответствующих выводам по каждому правилу
z1* = a1x0+b1y0
…
zn* = anx0+bny0
Нахождение значения z0:
Экспертные системы. Характеристики и структура ЭС.
Назначение ЭС
Цель исследований по ЭС состоит в разработке программ, которые при решении задач, трудных для эксперта-человека, получают результаты, не уступающие по качеству и эффективности решениям, получаемым экспертом.
ЭС предназначены для неформализованных задач. Неформализованные задачи обычно обладают следующими особенностями:
ошибочностью, неоднозначностью, неполнотой и противоречивостью исходных данных;
ошибочностью, неоднозначностью, неполнотой и противоречивостью знаний о проблемной области и решаемой задаче;
большой размерностью пространства решения;
динамически изменяющимися данными и знаниями.
Причины, приведшие СИИ к коммерческому успеху, следующие.
Интегрированность. Разработаны инструментальные средства искусственного интеллекта (ИС ИИ), легко интегрирующиеся с другими информационными технологиями и средствами (с CASE, СУБД, контроллерами, концентраторами данных и т.п.).
Открытость и переносимость. ИС ИИ разрабатываются с соблюдением стандартов, обеспечивающих открытость и переносимость.
Использование языков традиционного программирования и рабочих станций. (С, C++ и т.п.).
Архитектура клиент-сервер. Разработаны ИС ИИ, поддерживающие распределенные вычисления по архитектуре клиент-сервер.
Проблемно/предметно-ориентированные ИС ИИ.
Структура экспертных систем
Типичная статическая ЭС состоит из следующих основных компонентов (рис. 1.):
решателя (интерпретатора);
рабочей памяти (РП), называемой также базой данных (БД);
базы знаний (БЗ);
компонентов приобретения знаний;
объяснительного компонента;
диалогового компонента.
База данных (рабочая память) предназначена для хранения исходных и промежуточных данных решаемой в текущий момент задачи.
База знаний (БЗ) в ЭС предназначена для хранения долгосрочных данных, описывающих рассматриваемую область (а не текущих данных), и правил.
Решатель, используя исходные данные из рабочей памяти и знания из БЗ, формирует последовательность правил, которые приводят к решению задачи.
Компонент приобретения знаний автоматизирует процесс наполнения ЭС знаниями, осуществляемый пользователем-экспертом.
Объяснительный компонент объясняет, как система получила решение задачи (или почему она не получила решение) и какие знания она при этом использовала.
Диалоговый компонент ориентирован на организацию дружественного общения с пользователем.
В разработке ЭС участвуют представители следующих специальностей:
- эксперт в проблемной области;
- инженер по знаниям - специалист по разработке ЭС;
- программист по разработке инструментальных средств (ИС).
Эксперт определяет знания (данные и правила), характеризующие проблемную область, обеспечивает полноту и правильность введенных в ЭС знаний.
Инженер по знаниям помогает эксперту выявить и структурировать знания, необходимые для работы ЭС.
Программист разрабатывает ИС (если ИС разрабатывается заново), содержащее в пределе все основные компоненты ЭС, и осуществляет его сопряжение с той средой, в которой оно будет использовано.
Экспертная система работает в двух режимах:
В режиме приобретения знаний общение с ЭС осуществляет (через посредничество инженера по знаниям) эксперт. В этом режиме эксперт наполняет систему знаниями. Эксперт описывает проблемную область в виде совокупности данных и правил. Данные определяют объекты, их характеристики и значения. Правила определяют способы манипулирования с данными.
В режиме консультации общение с ЭС осуществляет конечный пользователь, которого интересует результат и (или) способ его получения. Данные о задаче пользователя после обработки их диалоговым компонентом поступают в рабочую память. Решатель на основе входных данных из рабочей памяти, общих данных о проблемной области и правил из БЗ формирует решение задачи.
Структуру, приведенную на рис. 1, называют структурой статической ЭС. ЭС данного типа используются в тех приложениях, где можно не учитывать изменения окружающего мира, происходящие за время решения задачи. Первые ЭС, получившие практическое использование, были статическими.
На рис. 1.2 показано, что в архитектуру динамической ЭС по сравнению со статической ЭС вводятся два компонента: подсистема моделирования внешнего мира и подсистема связи с внешним окружением. Последняя осуществляет связи с внешним миром через систему датчиков и контроллеров. Кроме того, традиционные компоненты статической ЭС (база знаний и машина вывода) претерпевают существенные изменения, чтобы отразить временную логику происходящих в реальном мире событий.
Классификация и основные этапы разработки ЭС
Назначение
решаемая задача
цель создания(обучение тиражирование опыта, авт. реш задач)
основной пользователь
Тип решаемых задач
интерпретация
диагностика
конструирование
планирование
предсказание
управление
По глубине анализа
Поверхностные(условие – действие)
Глубинные
По типу исп. Методов и знаний
Традиционные
Гибридные(исп. Другие эксп. подсистем)
Классы ЭС
Простая ЭС – поверхностная,традиционная, БЗ до 1000 правил
Сложная ЭС – глубинная, гибридная БЗ >1000 правил
Стадий существования
Демонстрационный (до 1000 правил)
Исследовательский(до 500правил)
Дейстующий(1000 правил)
Промышленная стадия
Коммерческая стадия
По инструментальным средствам разработки
Св-ва разработки:
Оболочки ЭС(пустые оболочки)
Системы автоматизированного проектирование включает компоненты для интеграций в ЭС
Языки инженерии знаний(Prolog)
Классические языки програмирования
Общие этапы разработки
Выбор проблемы
Разработка прототипа ЭС
Доработка до промышленной ЭС
Оценка ЭС
Стыковка ЭС
Поддержка ЭС
Классификация инструментальных средств разработки ЭС. Основные характеристики инструментальной оболочки ЭСТЭР.
Инструментальные средства подразделяются на следующие категории:
Языки программирования
Языки инженерии знаний
Средства автоматизации разработки экспертных систем
Оболочки экспертных систем
1.Языки программирования
Объектно-ориентированные языки
По своему назначению и функциональным возможностям инструменталь-ные программы, применяемые при проектировании экспертных систем, можно разделить на четыре достаточно больших категории:
Оболочки экспертных систем (expert system shells).Системы этого типа создаются, как правило, на основе какой-нибудь экспертной системы, достаточно хорошо зарекомендовавшей себя на практике
Языки программирования высокого уровня
Среда программирования, поддерживающая несколько парадигм(multiple-paradigm programming environment). Средства этой категории включают несколько программных модулей, что позволяет пользователю комбинировать в процессе разработки экспертной системы разные стили программирования.
Дополнительные модули.Средства этой категории представляют собой автономные программные модули, предназначенные для выполнения специфических задач в рамках выбранной архитектуры системы решения проблем.