Интеграция данных

• процесс организации работы с данными так, как будто они размещены в единой базе данных, а не в гетерогенном окружении

• предоставление унифицированного интерфейса для доступа к совокупности неоднородных независимых источников данных

Хранилище данных (Data Warehouse) – предметно-ориентированная информационная корпоративная база данных

• Используется для анализа, отчетов с целью принятие решений

• Используется корпоративные СУБД

Принципы Хранилища данных

• Проблемно-предметная ориентация (по предметным областям)

• Интегрированность – объединения данных из разных областей

• Некорректируемость – данные не изменяются, не удаляются, поступают из других баз

• Зависимость от времени – данные в хранилище меняются со временем и имеют смысл лишь на некоторый момент времени

Нормализованные хранилища – витрины данных

• Схема –таблицы

• Сложная выборка

• Малопроизводительные запросы

Размерностные хранилища

• Схема – снежинка

  • центр- данные (факты)

  • Размерности – лучи снежинки

• Простая выборка

• Производительные запросы

• Сложная подготовка

Репликация — механизм синхронизации содержимого нескольких копий объекта (например,

содержимого базы данных). Репликация — это процесс, под которым понимается копирование

данных из одного источника на множество других и наоборот.

Проблемы репликаций

1. Синхронизация репликаций

2. Параллельность репликаций

3. Валидность данных

4. Первичность ключей

11. Интеграция данных. Логическая интеграция данных.

Интеграция данных

• процесс организации работы с данными так, как будто они размещены в единой базе данных, а не в гетерогенном окружении

• предоставление унифицированного интерфейса для доступа к совокупности неоднородных независимых источников данных

Интеграция данных на логическом уровне предусматривает возможность доступа к данным,

содержащимся в различных источниках, в терминах единой глобальной схемы, которая описывает их

совместное представление с учетом структурных и, возможно, поведенческих (при использовании

объектных моделей) свойств данных.

Единая схема данных

Распределенные базы данных состоят из набора узлов

1. Каждый узел обладает своими собственными СУБД

2. Узлы работают согласовано, пользователь получает доступ к данным на любом узле

Независимость от Фрагментации

Фрагментация

• Вертикальная – распределяются отдельные сущности (необходимо следить за возможной потерей информации)

• Горизонтальная – распределяются кортежи (записи).

Реконструкция исходного отношения выполняется на основе

• Соединения – для вертикальной фрагментации

• Объединения – для горизонтальной фрагментации

12. Семантическая интеграция.

Поддержку единого представления данных с учетом их семантических свойств в контексте единой

онтологии предметной области обеспечивает интеграция данных на семантическом уровне.

Автоматическая репликация данных Алгоритм интеграции данных по требованию

13. Обработка числовой информации.

Области применения обработки числовой информации:

1. Финансы (бухгалтерия, финансовый анализ)

2. Экономический анализ (маркетинг, бенчмаркинг)

3. Производственный анализ (анализ производственный процессов)

Производственный анализ информации:

1. Предварительная обработка данных, собранных из внешних источников (датчики, сканеры, клавиатура)

• Простота алгоритмов

• Скорость выполнения

• Обеспечение реального времени

• Использование только введенных данных

• Одинарная (одно значение) и блочная обработка

Постобработка данных

• Разнообразие алгоритмов (простые и сложные)

• Блочная обработка

• Временной анализ

• Кросс-обработка (совместные характеристики – взаимная корреляция, взаимный спектр, функция когерентности)

Предварительная обработка данных:

-одиночная обработка – проверка на допустимость значений

-блочная обработка – усреднение

-удаление тренда – низкочастотной тенденции изменения ряда

-сглаживание

Постобработка:

• Статистическая обработка

• Среднее, дисперсия, СКО, медиана, коэффициент асимметрии и эксцесса

• Гистограмма распределения плотности вероятности

• Корреляция – авто и взаимная

• Спектральный анализ

• Спектральная плотность мощности

• Взаимный спектр

• Функция когерентности

• Фурье преобразование, косинус преобразование, Преобразование Хартли

• Вейвлет-анализ

• Фильтрация

• Сжатие данных

• Сжатие без потерь

• Сжатие с потерями