www.basegroup.ru

Введение

Анализ информации является неотъемлемой частью ведения бизнеса и одним из важных факторов повышения его конкурентоспособности. При этом в подавляющем большинстве случаев анализ сводится к применению одних и тех же базовых механизмов. Они являются универсальными и применимы к любой предметной области, благодаря чему имеется возможность создания унифицированной программной платформы, в которой реализованы основные механизмы анализа, такой как Deductor.

Обычно анализ производят аналитики и эксперты предметной области предприятия. Они подготавливают данные к пригодному для анализа виду, применяют к ним различные методы анализа, приводят результаты к легко воспринимаемому виду. Результаты анализа необходимы лицам предприятия, принимающим решения, например, руководителям отделов, менеджерам. Они могут совершенно не разбираться в методах анализа, но у них есть потребность в их результатах. Таким образом, требуется, с одной стороны, выделить и формализовать знание эксперта о предметной области, с другой, обеспечить возможность использовать эти знания человеком, не разбирающимся в особенностях использования механизмов анализа, т.е. решить проблему тиражирования знаний (см. рисунок).

Deductor 5 предназначен для эффективного решения проблемы тиражирования знаний. Deductor

– это аналитическая платформа, основа для создания законченных прикладных решений в области анализа данных. Реализованные в Deductor технологии позволяют на базе единой архитектуры пройти все этапы построения аналитической системы: от создания хранилища данных до автоматического подбора моделей и визуализации полученных результатов.

Deductor 5 состоит из пяти частей:

1Warehouse – хранилище данных, консолидирующее информацию из разных источников. В системе поддерживается концепция виртуальных хранилищ данных;

2Studio – аналитическое приложение, позволяющее пройти все этапы построения прикладного решения;

3Viewer – рабочее место конечного пользователя, одно из средств тиражирования знаний;

4Server – служба, обеспечивающая удаленную аналитическую обработку данных;

5Client – клиент доступа к Deductor Server. Обеспечивает доступ к серверу из сторонних приложений и управление его работой.

Deductor 5 содержит большое количество методов подготовки, трансформации, обработки и визуализации данных.

В этом руководстве речь пойдет о применении Deductor при решении задач анализа данных. Руководство рассчитано на аналитика, занимающегося практическими вопросами анализа стр. 6 из 192

www.basegroup.ru

информации на основе платформы Deductor. Оно требует от читателя владения лишь базовыми основами анализа и используемых в его процессе математических методов.

Руководство имеет следующую структуру.

Вглаве «Анализ данных – основные принципы» описываются общие вопросы анализа данных, базовые подходы и методики проведения анализа, рассматривается место аналитической системы в анализе данных.

Вглаве «Состав и назначение аналитической платформы Deductor» рассматриваются основные возможности, область применения и задачи, решаемые с использованием платформы

Deductor.

Архитектура составных частей платформы – аналитического приложения Deductor Studio и хранилища данных Deductor Warehouse – описываются в разделах «Архитектура Deductor Studio – аналитическое приложение» и «Архитектура Deductor Warehouse – многомерное хранилище данных».

Одним из важных методов представления данных и проведения оперативного анализа является технология OLAP. Ее основы и реализация в программах Deductor рассматриваются в главе

«Работа с OLAP-кубом».

Большое внимание в Руководстве уделено описанию разнообразных алгоритмов анализа, реализованных в Deductor. Для каждого алгоритма описаны принцип работы, исходные данные и получаемые результаты, доступные настройки и, кроме того, приводятся примеры их практического использования. Вся эта информация сгруппирована в главе «Описание аналитических алгоритмов».

В главе «Интерпретация результатов» рассказано о способах интерпретации построенных моделей, возможностях работы с ними и механизмах оценки их качества.

Одним из важнейших аспектов анализа является сбор исходных данных. Вопросы определения важности данных для анализа, объемов выборки и представления данных рассматриваются в главе «Подготовка данных для анализа».

Вглаве «Пример создания законченного аналитического решения» рассматривается процесс создания решения на базе платформы Deductor. В ней на конкретном примере подробно описываются все этапы, которые требуется пройти, начиная от постановки задачи и заканчивая подготовкой системы отчетности. Читатель Руководства будет ознакомлен со всеми аспектами применения платформы Deductor в анализе данных и сможет самостоятельно приступить к разработке аналитических моделей и готовых решений на их базе, а также их использованию на практике.

Вглаве «Что делать при возникновении ошибок» рассказывается о наиболее распространенных ошибках, с которыми сталкивается аналитик при создании решения и о способах борьбы с подобными ошибками.

Вконце руководства приведен список литературы, наиболее активно использовавшейся в ходе разработки платформы Deductor. В ней рассматриваются как общие вопросы Data Mining и Knowledge Discovery, так и более узкие темы – нейронные сети, статистические метода анализа, генетические и нечеткие алгоритмы, подходы к решению отдельных проблем анализа (прогнозирование, кластеризация, факторный, корреляционный и другие виды анализа). Кроме того, к списку литературы добавлены несколько полезных ссылок на сайты в Internet, имеющие непосредственное отношение к анализу данных.

стр. 7 из 192