9074

жающей систему ИИ, то есть она становится как бы вещью в себе.

IV. Еще один широко используемый подход к построению систем ИИ – имитационный. Данный подход является классическим для кибернетики с од-

ним из ее базовых понятий – "черным ящиком" (ЧЯ). ЧЯ – устройство, про-

граммный модуль или набор данных, информация о внутренней структуре и содержании которых отсутствуют полностью, но известны спецификации входных и выходных данных. Объект, поведение которого имитируется, как раз и представляет собой такой "черный ящик". Нам не важно, что у него и у моде-

ли внутри и как он функционирует, главное, чтобы наша модель в аналогичных ситуациях вела себя точно так же.

Таким образом здесь моделируется другое свойство человека – способ-

ность копировать то, что делают другие, не вдаваясь в подробности, зачем это нужно. Зачастую эта способность экономит ему массу времени, особенно в начале его жизни.

Основным недостатком имитационного подхода также является низкая информационная способность большинства моделей, построенных с его помо-

щью.

Различные подходы существуют и сейчас. На практике очень четкой гра-

ницы между ними нет. Очень часто встречаются смешанные системы, где часть работы выполняется по одному типу, а часть по-другому.

Исторически, Экспертные системы были первыми системами искусствен-

ного интеллекта, которые привлекли внимание потребителей Экспертная система (ЭС) – это ИИС, предназначенная для решения сла-

боформализуемых задач на основе накапливаемого в базе знаний опыта работы экспертов в проблемной области.

Экспертная система является инструментом, усиливающим интеллекту-

альные способности эксперта, и может выполнять следующие функции:

обучение и консультация неопытных пользователей;

11

распространение и использование уникального опыта экспертов (в том числе, опыта других экспертов по вопросам, относящимся к источникам знаний из смежных областей деятельности;

автоматизация работы экспертов по принятию решений (помогает экс-

перту анализировать различные варианты принятия решений);

оптимизация решения проблем, выдвижение и проверка гипотез Классы экспертных систем. По степени сложности решаемых задач экс-

пертные системы можно классифицировать следующим образом:

По способу формирования решения экспертные системы разделяются на два класса: аналитические и синтетические.

Аналитическая экспертная система – это ЭС, осуществляющая оценку ва-

риантов решений (проверку гипотез), они предполагают выбор решений из множества известных альтернатив.

Синтетическая экспертная система – это ЭС, осуществляющая генерацию неизвестных решений (формирование гипотез).

По способу учета временного признака экспертные системы могут быть

статическими или динамическими.

Статическая экспертная система – это ЭС, решающая задачи в условиях не изменяющихся во времени исходных данных и знаний.

Динамическая экспертная система – это ЭС, решающая задачи в условиях изменяющихся во времени исходных данных и знаний.

По видам используемых данных и знаний экспертные системы класси-

фицируются на системы с детерминированными (четко определенными) знани-

ями и неопределенными знаниями.

Под неопределенностью знаний (данных) понимается их неполнота (отсут-

ствие), недостоверность (неточность измерения), двусмысленность (многознач-

ность понятий), нечеткость (качественная оценка вместо количественной).

По числу используемых источников знаний экспертные системы могут быть построены с использованием одного или множества источников знаний.

12

Система с интеллектуальным интерфейсом – это ИИС, предназначенная для поиска неявной информации в базе данных или тексте для произвольных запросов, составляемых, как правило, на ограниченном естественном языке

Интеллектуальные БД отличаются от обычных БД возможностью выборки по запросу необходимой информации, которая может явно не храниться, а вы-

водиться из имеющейся в базе данных информации. Примерами таких запросов могут быть следующий: – “Вывести список товаров, цена которых выше среднеотраслевой”; «вывести список товаров-заменителей некоторой продук-

ции»; Вывести список потенциальных покупателей некоторого товара».

В запросе требуется осуществить поиск по условию, которое должно быть доопределено в ходе решения задачи. Формулирование запроса осуществляется в диалоге с пользователем, последовательность шагов которого выполняется в максимально удобной для пользователя форме. Запрос к базе данных может формулироваться и с помощью естественно-языкового интерфейса.

Естественно-языковой интерфейс предполагает трансляцию естественно-

языковых конструкций на внутри машинный уровень представления знаний.

Естественно-языковый интерфейс используется для:

доступа к интеллектуальным базам данных;

контекстного поиска документальной текстовой информации;

голосового ввода команд в системах управления;

машинного перевода c иностранных языков.

Гипертекстовые системы предназначены для реализации поиска по клю-

чевым словам в базах текстовой информации. Механизм поиска работает преж-

де всего с базой знаний ключевых слов, а уже затем непосредственно с текстом.

Системы контекстной помощи можно рассматривать, как частный случай интеллектуальных гипертекстовых и естественно-языковых систем. В системах контекстной помощи пользователь описывает проблему (ситуацию), а система с помощью дополнительного диалога ее конкретизирует и сама выполняет поиск относящихся к ситуации рекомендаций. Такие системы относятся к классу си-

13

стем распространения знаний (Knowledge Publishing) и создаются как приложе-

ние к системам документации (например, технической документации по экс-

плуатации товаров).

Системы когнитивной графики позволяют осуществлять интерфейс поль-

зователя с ИИС с помощью графических образов, которые генерируются в со-

ответствии с происходящими событиями.

Самообучающаяся система – это ИИС, которая на основе примеров реаль-

ной практики автоматически формирует единицы знаний.

В основе самообучающихся систем лежат методы автоматической класси-

фикации примеров ситуаций реальной практики (обучения на примерах). При-

меры реальных ситуаций накапливаются за некоторый исторический период и составляют обучающую выборку. Эти примеры описываются множеством при-

знаков классификации. Причем обучающая выборка может быть:

“с учителем”, когда для каждого примера задается в явном виде значе-

ние признака его принадлежности некоторому классу ситуаций;

“без учителя”, когда по степени близости значений признаков класси-

фикации система сама выделяет классы ситуаций.

В результате обучения системы автоматически строятся обобщенные пра-

вила или функции, определяющие принадлежность ситуаций классам, которы-

ми обученная система пользуется при интерпретации новых возникающих си-

туаций. Таким образом, автоматически формируется база знаний, используемая при решении задач классификации и прогнозирования. Эта база знаний перио-

дически автоматически корректируется по мере накопления опыта реальных ситуаций, что позволяет сократить затраты на ее создание и обновление.

Адаптивные системы с генетическими алгоритмами.

Генетические Алгоритмы (ГА) – это адаптивные методы функциональной оптимизации, основанные на компьютерном имитационном моделировании биологической эволюции. Основные принципы ГА были сформулированы Гол-

14

ландом (Holland, 1975), и хорошо описаны во многих работах и на ряде сайтов в

Internet.

Теория Дарвина традиционно моделируется в ГА, хотя, конечно, это не ис-

ключает возможности моделирования и других теорий эволюции в ГА.

В основе модели эволюции Дарвина лежат случайные изменения отдель-

ных материальных элементов живого организма при переходе от поколения к поколению. Целесообразные изменения, которые облегчают выживание и про-

изводство потомков в данной конкретной внешней среде, сохраняются и пере-

даются потомству, т.е. наследуются. Особи, не имеющие соответствующих приспособлений, погибают, не оставив потомства или оставив его меньше, чем приспособленные (считается, что количество потомства пропорционально сте-

пени приспособленности). Поэтому в результате естественного отбора возника-

ет популяция из наиболее приспособленных особей, которая может стать осно-

вой нового вида, каждый конкретный генетический алгоритм представляет имитационную модель некоторой определенной теории биологической эволю-

ции или ее варианта.

Работа ГА представляет собой итерационный процесс, который продолжа-

ется до тех пор, пока поколения не перестанут существенно отличаться друг от друга, или не пройдет заданное количество поколений или заданное время. Для каждого поколения реализуются отбор, кроссовер (скрещивание) и мутация.

Гибридные интеллектуальные системы объединяют методологии экс-

пертных систем, теории нечетких множеств, ИНС, генетических алгоритмов и др. Примером гибридных систем является обучение ИНС при помощи генети-

ческих алгоритмов. При этом обеспечивается высокая скорость подстройки ве-

сов сети, достаточно малые ошибки обучения.

Методы интеллектуального анализа Data Mining. К ним относятся, прежде всего, методы и технологии экспертных систем, нейронных сетей, генетических алгоритмов, нечеткой логики, эвристические методы ограниченного перебора и визуализации данных. Интеллектуальный анализ представляет собой один из

15

подходов к решению проблемы неопределенности при принятии решений.

Практически все предприятия сегодня имеют базы данных, содержащие большие, подчас гигантские объемы информации.

Data Mining (добыча данных) или интеллектуальный анализ данных – это процесс автоматического выделения действительной, эффективной, ранее неиз-

вестной и совершенно понятной информации из больших баз данных и исполь-

зование ее для принятия ключевых бизнес-решений.

Существуют профессиональные программы, реализующие системный подход к анализу данных и включающие методы Data Mining. Наиболее извест-

ные программные продукты: SPSS, STATISTIKA Data Miner, PolyAnalyst,

Deductor.

2.3.2. Раздел 2. Хранилища данных. Оперативная аналитическая обра-

ботка данных OLAP.

Системы искусственного интеллекта, основанные на анализе большого количества информации из разных источников с привлечением сведений, со-

держащихся в системах, аккумулирующих опыт решения проблем, предпола-

гают глубокую проработку данных, специально преобразованных так, чтобы их было удобно использовать в ходе процесса принятия решений. Неотъемлемым компонентом СИИ являются хранилища данных.

Принято считать, что у истоков концепции ХД стоял технический директор компании Prism Solutions Билл Инмон, который в начале 1990-х гг. опублико-

вал ряд работ, ставших основополагающими для последующих исследований в области аналитических систем.

В основе концепции ХД лежат следующие положения:

интеграция и согласование данных из различных источников, таких как обычные системы оперативной обработки, базы данных, учетные систе-

мы, офисные документы, электронные архивы, расположенные как внутри предприятия, так и во внешнем окружении;

16

разделение наборов данных, используемых системами выполнения тран-

закций и СИИ.

Хранилище данных – разновидность систем хранения, ориентированная на поддержку процесса анализа данных, обеспечивающая целостность, непроти-

воречивость и хронологию данных, а также высокую скорость выполнения ана-

литических запросов.

Назначение хранилища данных – своевременно обеспечить всей инфор-

мацией, необходимой для проведения анализа, построения моделей и принятия решений. Цель хранилища данных – не анализ данных, а подготовка данных для анализа и их консолидация.

Использование концепции ХД в ИИС и анализе данных способствует до-

стижению таких целей, как:

своевременное обеспечение аналитиков и руководителей всей информа-

цией, необходимой для выработки обоснованных и качественных управ-

ленческих решений;

создание единой модели представления данных в организации;

создание интегрированного источника данных, предоставляющего удоб-

ный доступ к разнородной информации и гарантирующего получение одинаковых ответов на одинаковые запросы из различных аналитиче-

ских приложений.

Основные требования к ХД

Чтобы ХД выполняло функции, соответствующие его основной задаче – поддержке процесса анализа данных, – оно должно удовлетворять требованиям,

сформулированным Р. Кимбаллом, одним из авторов концепции ХД:

высокая скорость получения данных из хранилища;

автоматическая поддержка внутренней непротиворечивости данных;

возможность получения и сравнения срезов данных;

наличие удобных средств для просмотра данных в хранилище;

обеспечение целостности и достоверности хранящихся данных.

17

Согласно определению Б. Инмона, ХД – это предметно-

ориентированный, интегрированный, неизменяемый и поддерживающий хро-

нологию набор данных, предназначенный для обеспечения принятия управлен-

ческих решений.

Под предметной ориентированностью в данном случае подразумевается,

что ХД должно разрабатываться с учетом специфики конкретной предметной области, а не аналитических приложений, с которыми его предполагается ис-

пользовать. Структура ХД должна отражать представления аналитика об ин-

формации, с которой ему приходится работать.

Интегрированность означает, что должна быть обеспечена возможность загрузки в ХД информации из источников, поддерживающих различные фор-

маты данных и созданных в различных приложениях – учетных системах, базах данных, электронных таблицах и других офисных приложениях, поддержива-

ющих структурированность данных (например, текстовые файлы с разделите-

лями). При этом данные, допускающие различный формат (например,

числа, дата и время), в процессе загрузки должны быть преобразованы к еди-

ному представлению. Кроме того, очень важно проверить загружаемые данные на целостность и непротиворечивость, обеспечить необходимый уровень их обобщения (агрегирования). Объем данных в хранилище должен быть доста-

точным для эффективного решения аналитических задач, поэтому в ХД может накапливаться информация за несколько лет и даже десятилетий.

Принцип неизменчивости предполагает, что в отличие от обычных систем оперативной обработки данных в ХД данные после загрузки не должны подвер-

гаться каким-либо изменениям за исключением добавления новых данных.

Поддержка хронологии означает соблюдение порядка следования запи-

сей, для чего в структуру ХД вводятся ключевые атрибуты Дата и Время. Кро-

ме того, если физически упорядочить записи в хронологическом порядке,

например, в порядке возрастания атрибута Дата, можно уменьшить время вы-

полнения аналитических запросов.

18

Чтобы соблюсти все перечисленные требования для построения и работы ХД, используется не одно приложение, а система, в которую входит несколько программных продуктов. Одни из них представляют собой собственно систему хранения данных, другие – средства их просмотра, извлечения, загрузки и т. д.

В последние десятилетия технология ХД стремительно развивается. Де-

сятки компаний предлагают на рынке свои решения в области ХД , и тысячи организаций уже используют это мощное средство поддержки аналитических проектов.

Консолидация – комплекс методов и процедур, направленных на извлече-

ние данных из различных источников, обеспечение необходимого уровня их информативности и качества, преобразование в единый формат, в котором они могут быть загружены в СИИ.

Консолидация данных является начальным этапом реализации любой аналитической задачи или проекта. В основе консолидации лежит процесс сбо-

ра и организации хранения данных в виде, оптимальном с точки зрения их об-

работки на конкретной ИИС или решения конкретной аналитической задачи.

Сопутствующими задачами консолидации являются оценка качества данных и их обогащение.

Основные критерии оптимальности с точки зрения консолидации дан-

ных:

обеспечение высокой скорости доступа к данным;

компактность хранения;

автоматическая поддержка целостности структуры данных;

контроль непротиворечивости данных.

Впроцессе консолидации данных решаются следующие задачи:

выбор источников данных;

разработка стратегии консолидации;

оценка качества данных;

обогащение;

19

очистка;

перенос в хранилище данных (ХД).

Из источников данных всех перечисленных уровней информация в соот-

ветствии с некоторым регламентом должна перемещаться в ХД .

OLAP (OnLine Analytical Processing, оперативная аналитическая обработ-

ка данных) является на сегодня одним из самых популярных методов анализа данных. Его основное назначение – поддержка аналитической деятельности, а

также произвольных (нерегламентированных) запросов лиц, принимающих ре-

шения. На основе OLAP строятся многочисленные системы поддержки приня-

тия решений и подготовки отчетов.

Эта технология позволяет осуществлять многомерный анализ данных. Она может применяться не только для подготовки отчетности, но и для первичной проверки гипотез об изучаемой предметной области. Такие гипотезы неизбеж-

но возникают в процессе анализа; для выработки качественных решений они должны быть проверены на основе имеющейся информации.

Средства OLAP-системы должны обеспечить работу с данными в много-

мерном представлении данных – естественном на уровне ненормализованной

ER-модели с полной поддержкой иерархий независимо от того, какие типы баз данных используются в качестве источников.

В OLAP-системах предварительно подготовленная информация преобра-

зуется в форму многомерного куба; такими данными гораздо легче манипули-

ровать, используя необходимые для анализа срезы.

Многомерный куб можно рассматривать как систему координат, осями ко-

торой являются измерения, например, Дата, Товар, Покупатель. По осям будут откладываться значения измерений – даты, наименования товаров, названия фирм-покупателей, ФИО физических лиц и т. д.

В такой системе каждому набору значений измерений (например, дата – товар – покупатель) будет соответствовать ячейка, в которой можно разместить числовые показатели (то есть факты), связанные с данным набором. Таким об-

20