- •1.2.4Последствия в отношении информационных систем
- •1.2.5Определения хранилища данных
- •1.2.6Назначение хранилищ данных
- •1.2.7Различие между хранилищем данных и системой oltp
- •1.3.4Архитектура sap bw
- •1.3.5Исходные системы
- •1.3.6Сервер sap bw
- •1.3.8Экстракция, преобразование и загрузка
- •1.3.9Базис данных
- •1.3.10Инструменты стейджинга данных
- •1.3.11Интерфейсы
- •1.3.13Запросы, отчеты и анализ
- •1.3.15Интеграция sap bw в портал предприятия
- •1.3.16Пример общего сценария: процессы etl
- •1.3.17Заключительная дискуссия
- •1.4Резюме по разделу
- •2.2.4Таблицы измерений
- •2.2.5Таблица фактов
- •2.2.6Схема-звезда sap bw
- •2.2.7Базовый куб
- •2.2.8Таблицы основных данных/таблицы sid
- •2.2.9Связывание таблиц с базовым кубом
- •2.2.10Классическая схема-звезда в сравнении со схемой-звездой sap bw
- •2.2.11Преимущества и недостатки классической схемы-звезды
- •2.2.12Преимущества схемы-звезды sap bw
- •2.3.4Моделирование
- •2.3.5Мониторинг
- •2.3.6Агент отчетов
- •2.3.7Связь с переносом
- •2.4.4Классификация инфо-объектов
- •2.4.5Инфо-объекты признаков
- •2.4.5.1Общее
- •2.4.5.3Основные данные/Тексты
- •2.4.5.4(Внешняя) иерархия
- •2.4.5.5Атрибуты
- •2.4.5.6Соединение
- •2.4.6Создание признака в дереве инфо-объектов
- •2.4.7Инфо-объекты показателей
- •2.4.7.1Тип/Единица
- •2.4.7.2Агрегация
- •2.4.7.3Прочие свойства
- •2.4.8Создание показателя в дереве инфо-объектов
- •2.5.4Базовые кубы
- •2.5.5Создание инфо-куба в дереве инфо-провайдеров
- •2.6.3.2Таблицы атрибутов
- •2.6.3.3Иерархии
- •2.6.4Таблицы sid
- •2.6.4.1Таблица s
- •2.6.4.2Таблица не зависящих от времени атрибутов навигации
- •2.6.4.3Таблица зависящих от времени атрибутов навигации
- •2.6.4.4Изменения инфо-объекта признаков
- •2.6.4.5Таблица sid, внешние иерархии
- •2.6.4.6Таблица sid узлов
- •2.6.4.7Таблица включения
- •2.6.5Таблицы базового куба
- •2.6.5.1Таблицы измерений
- •2.6.5.2Таблицы фактов
- •2.6.6Атрибуты навигации в sap bw
- •2.6.7Соединение таблиц и ракурсов в схеме-звезде bw
- •2.6.8Заключительная дискуссия
- •2.7Резюме по разделу
- •3.2.4Исходные системы sap bw
- •3.2.5Предпосылки для загрузки данных из sap-систем
- •3.2.6Методы переноса
- •3.2.7Поток данных в системе sap bw
- •3.2.8Источник данных
- •3.2.9Локальные правила переноса
- •3.2.10Инфо-источник
- •3.2.11Глобальные правила переноса
- •3.2.12Правила обновления
- •3.3.3Планировщик
- •3.3.4Монитор
- •3.3.5Подготовка к использованию инфо-источника с прямым обновлением для загрузки данных атрибутов и текстовых данных
- •3.3.6Сценарий
- •3.3.7Упражнение 4: Использование инфо-источника с прямым обновлением для загрузки данных атрибутов co из системы r/3
- •3.3.8Упражнение 5: Использование инфо-источника с прямым обновлением для загрузки данных текстов co из системы r/3
- •3.4.4Показатели
- •3.4.5Признаки
- •3.4.6Временные признаки
- •3.4.7Специальные методы обновления
- •3.4.7.1Обновление показателей: таблица возврата
- •3.4.7.2Обновление показателей: пересчет валют
- •3.4.7.3Обновление показателей: подпрограмма преобразования
- •3.4.7.4Признак обновления: деривация
- •3.4.7.5Обновление временных признаков: распределение по времени
- •3.4.7.6Подпрограмма запуска
- •3.4.8Подготовка к загрузке переменных данных из исходной системы sap
- •3.5.4Инфо-источник с прямым обновлением
- •3.5.5Инфо-источник с гибким обновлением
- •3.5.6Гибкое обновление основных данных
- •3.5.6.1Ods-объект основных данных
- •3.5.6.2Основные данные из плоских файлов
- •3.6Резюме по разделу
- •4.2.5Формат файлов
- •4.2.6Советы для загрузки
- •4.2.7Прямое обновление основных данных из плоских файлов
- •4.2.7.1Предпосылки
- •4.2.7.2Процедура
- •4.2.8Гибкое обновление плоских файлов
- •4.2.8.1Предпосылки
- •4.2.8.2Процедура
- •4.2.9Загрузка иерархий из плоских файлов. Обзор
- •4.2.10Загрузка иерархий из плоских файлов
- •4.2.10.1Предпосылки
- •4.2.10.2Процедура
- •4.2.11Предварительный просмотр и моделирование загрузки плоских файлов
- •4.2.11.1Использование
- •4.2.11.2Предпосылки
- •4.2.11.3Функции
- •4.2.11.4Операции
- •4.3.4.3Библиотека трансформации и редактор формул
- •4.3.5Примеры сценариев
- •4.3.6Упражнение 9: Загрузка переменных данных co из файла
- •4.4Резюме по разделу
- •5.1.4Использование бизнес-содержимого
- •5.1.5Техническая структура бизнес-содержимого
- •5.1.6Связанная с содержимым структура бизнес-содержимого
- •5.1.7Активация бизнес-содержимого
- •5.1.7.1Перенос бизнес-содержимого за три шага
- •5.1.9Вопросы для обсуждения
- •5.2Резюме по разделу
- •6.2.4Методы переноса в bw
- •6.2.5Виды обновления данных при помощи psa
- •6.4.4Использование агрегатов
- •6.4.5Функции агрегата
- •6.4.6Агрегаты: пример
- •6.4.7Свойства агрегатов
- •6.4.8Техническая структура агрегата
- •6.4.9Выбор агрегата
- •6.4.9.1Зависящие от времени агрегаты
- •6.4.9.2Сведение агрегатов
- •6.4.10Цепочки процессов
- •6.4.11Оптимизация агрегатов
- •6.4.12Изменение агрегатов и основных данных
- •6.4.13Сжатие агрегатов
- •6.4.14Упражнение 11: Создание агрегатов для базового куба
- •6.5Резюме по разделу
- •7.2.4Интерфейс с информационной витриной в myself-системе
- •7.2.4.1Способ использования интерфейса с информационной витриной в myself-системе
- •7.2.5Интерфейс с информационной витриной в myself-системе: резюме
- •8.3.4Архитектура хранилища данных/ограничения
- •Непротиворечивые ods-объекты;
- •8.3.5Ods-объекты с данными, аналогичными данным в исходной системе
- •8.3.6Непротиворечивые ods-объекты
- •8.3.7Ods-объекты, связанные с конкретным приложением и используемые для создания отдельных отчетов или запросов на загрузку
- •8.3.8Сравнение psa, ods-объектов и базовых кубов
- •8.3.8.1Метод/назначение
- •8.3.8.2История данных
- •8.3.8.3Источник данных
- •8.3.8.4Манипулирование данными
- •8.3.8.5Система отчетов
- •8.3.9Архитектура и функции ods-объектов
- •8.3.10Загрузка в ods-объекты
- •8.3.11Активация: пример
- •8.3.12Типы ods-объектов
- •8.3.13Определение и параметры настройки ods-объектов
- •8.3.14Моделирование ods-объектов
- •8.3.15Управление ods-объектами
- •8.3.16Функции удаления
- •8.3.16.1Удаление запросов
- •8.3.17Выборочное удаление
- •8.3.17.1Удаление журнала изменений
- •8.3.18Интеграция новой цели данных в существующий поток данных
- •8.3.19Реорганизация новой присоединенной цели данных
- •9.3.5Дистанционный куб sap
- •9.3.5.1Определение
- •9.3.5.2Использование/поток данных
- •9.3.5.3Предпосылки
- •9.3.5.4Ограничения
- •9.3.5.5Правила переноса
- •9.3.7.2Использование
- •9.4.4Мультипровайдеры
- •9.4.4.1Определение
- •9.4.4.2Использование
- •9.4.4.3Преимущества мультипровайдера
- •9.4.4.4Интеграция
- •9.4.4.5Мультипровайдер: пример использования
- •9.4.5Упражнение 13: Определение мультипровайдера
- •9.5Резюме по разделу
6.2.4Методы переноса в bw
В SAP BW доступны следующие виды обновления:
PSA
ALE (IDoc данных).
Рисунок 85 Методы переноса
Ниже приводятся различия между методами переноса:
Выбор метода переноса PSA или IDoc осуществляется на экране ведения правил переноса. Процесс загрузки данных для обоих методов переноса инициируется с помощью IDoc запроса к исходной системе.
Информационные IDoc используются в обоих методах переноса. Перенос информационных IDoc осуществляется только средствами ALE. BW использует информационные IDoc для генерации индикаторов светофора в мониторе, что позволяет отслеживать процесс загрузки данных. IDoc данных состоит из управляющей записи, записи данных и записи статуса.
Например, управляющая запись содержит административную информацию – получателя, отправителя, манданта. Запись статуса описывает статус IDoc, например, "Обработано".
6.2.5Виды обновления данных при помощи psa
Рисунок 86 Виды обновления данных
Преимуществом использования PSA для экстракции данных является повышенная гибкость (обработка ошибочных записей данных). Поскольку в PSA осуществляется временное хранение данных перед их обновлением в целях данных, то при возникновении необходимости существует возможность проверки и изменения данных. В отличие от запроса данных с IDoc, PSA предоставляет различные опции обновления дополнительных данных в целях данных:
Инфо-объект/Только цель данных: эта опция означает, что PSA не используется в качестве временного хранилища. Данный вид обновления используется в случае, если не требуется проверять данные исходной системы на непротиворечивость и точность, или эта проверка уже была выполнена, и эти данные больше не требуются, т.к. повторное изменение структуры цели данных осуществляться не будет. Если впоследствии потребуется изменить структуру базового куба, то сначала необходимо будет ее очистить, т.е. удалить данные. После загрузки данных в таблицу PSA при повторной загрузке данных в цель данных исходной системе не потребуется снова загружать данные, т.к. они будут запрошены из PSA. Во время загрузки данных невозможно выполнить проверку на ошибочные записи данных.
PSA и инфо-объект/Цель данных параллельно (по пакетам) :BW получает данные из исходной системы, записывает данные в PSA и одновременно с этим запускает обновление в соответствующие цели данных. Поэтому данный метод обеспечивает более высокую производительность. Ниже приводится подробное описание параллельного обновления: пакет данных инициирует диалоговый процесс, в котором данные из этого пакета записываются в таблицу PSA. При успешной проводке данных в таблицу PSA система деблокирует второй, параллельный диалоговый процесс записи данных в цели данных. В этом диалоговом процессе применяются правила переноса для записей данных пакета данных, т.е. выполняется перенос данных в структуру связи с последующей записью в цели данных. Первый диалоговый процесс (проводка данных в PSA) сообщает исходной системе о своем завершении, и исходная система отправляет в BW новый пакет данных, в то время как второй диалоговый процесс все еще обновляет данные в целях данных. Параллельность относится к пакетам данных, т.е. система параллельно записывает пакеты данных в таблицу PSA и в цели данных.
Предупреждение: Максимальное количество процессов, заданных в исходной системе в пользовательской настройке для экстракторов, не накладывает ограничений на количество процессов BW. Поэтому для выполнения процесса загрузки BW может потребоваться несколько диалоговых процессов. Проверьте, что в системе BW существует достаточное количество доступных диалоговых процессов. При недостаточном количестве процессов на стороне системы возникнут ошибки. Поэтому использование данного метода не рекомендуется.
PSA и затем в инфо-объекты/цели данных (по пакетам): выполняется последовательное обновление данных (по пакетам данных) в таблице PSA и в цели данных. Система запускает процесс записи пакетов данных в таблицу PSA. Сразу после успешной проводки данных в таблицу PSA данные записываются в цели данных в этом же диалоговом процессе. Последовательное обновление предоставляет больший контроль общего потока данных по сравнению с параллельным переносом данных, т.к. на один пакет данных в BW приходится только один процесс. Максимальное количество диалоговых процессов в системе BW, требуемых для каждого запроса данных, соответствует параметрам, установленным в пользовательской настройке для экстракторов на экране ведения управляющих параметров. В отличие от параллельного обновления, система подтверждает завершение процесса только после обновления данных в PSA, а также в цели данных для первого пакета данных.
Только PSA : немедленной проводки данных из таблицы PSA не производится. Используется для переноса данных только в таблицу PSA при необходимости проверки ее точности и непротиворечивости и, в случае необходимости, модификации данных. Ниже приведены опции, доступные для обновления данных из таблицы PSA:
Немедленное обновление: для немедленного обновления данных из запроса (в фоновом режиме) выберите запрос в дереве PSA и выберите контекстное меню → Немедленный запуск обновления.
Запланировать обновление: для планирования обновления данных из запроса в планировщике выберите запрос в дереве PSA и выберите контекстное меню → Запланировать обновление. Откроется планировщик (последующее обновление PSA). Здесь устанавливаются опции планирования для фоновой обработки.
Автоматическое обновление: для автоматического обновления данных в соответствующей цели данных после того, как все пакеты данных уже находятся в таблице PSA и успешно там обновлены, в планировщике на закладке Обработка (при планировании инфо-пакета) выберите Последовательное обновление в целях данных.
Возможность разделения процессов загрузки и постобработки в BW повышает производительность при загрузке данных. Если ошибки в данных появляются только при постобработке, то это не приводит к дополнительной нагрузке на оперативную систему.
6.2.6Демонстрация: Data Update Type: Only PSA
6.2.6.1Цель
Show how to update data manually from the PSA into the data targets
InfoSource 0CO_OM_CCA_1 → Create InfoPackage...
On the Select Data tab page, restrict:
Fiscal year/Per.: 003.1999
Controlling area: 2000
Cost center: 1000
On the Processing tab page, select: Only PSA
Load the data from the PSA into the data target.
6.2.7Заключительная дискуссия
In which scenarios is it advantageous to load data using the PSA?
6.3Урок 16: Управление базовыми кубами
Продолжительность урока: 20 минут(ы)
6.3.1Обзор урока
Этот урок посвящен управлению запросами данных в инфо-кубах, а также сжатию и реорганизации базовых кубов.
6.3.2Цели урока
Прослушав этот урок, вы сможете:
применять функции ведения Удалить, Реорганизация и Сжатие по отношению к данным базовых кубов
6.3.3Управление базовыми кубами
Функция Администрирование используется для просмотра содержимого таблицы фактов или данных с определенными значениями признаков (посредством ракурса таблиц в браузере данных). Также можно выполнять исправление и реорганизацию индексов, удаление загруженных с ошибками запросов, сведение запросов в агрегаты, сжатие содержимого таблицы фактов и восстановление запросов, которые были удалены из базового куба.
Выберите базовый куб, ведение которого требуется выполнить, и выберите Администрирование в контекстном меню. Появятся шесть закладок:
Содержимое
Производительность
Запросы
Пополнение
Свернуть
Реорганизация
Рисунок 87 Администрирование
На рисунке показан первый экран Управление базовым кубом с закладками, расположенными в верхней части экрана.
Содержимое
на закладке Содержимое перечислены все признаки измерений, связанных с данным базовым кубом. Опция Содержимое базового куба позволяет просмотреть значения показателей для базового куба. Она также позволяет выбирать различные ракурсы для просмотра признаков, суррогатных ключей к признакам и показателей базового куба. Таблица фактов содержит список всех ключей измерений и показателей для отдельных записей переменных данных (содержимое таблицы фактов).
Опция Выборочное удаление используется для удаления из базового куба всех записей данных, соответствующих предварительно заданным критериям выбора. Например, при выборе места возникновения затрат с номером МВЗ T900000004250 из базового куба будут удалены все записи данных, которые содержат это значение.
В работе не рекомендуется пользоваться данной функцией.
Производительность
функции предоставляют возможность управления производительностью процесса загрузки данных и выполнения запросов.
Запросы
на закладке Запросы можно просмотреть все запросы данных, загруженные в базовый куб. При необходимости запросы можно удалить на этой же закладке. Также здесь отображается информация о планируемой или уже выполненной агрегации запросов. Кроме того, можно выяснить, производилось ли сжатие запросов (см. описание закладки Свернуть), и было ли запланировано удаление запросов.
Количество выводимых для просмотра запросов можно ограничить путем определения интервала времени в строке Просмотр запроса. Будут выведены только те запросы, которые соответствуют указанному периоду.
На закладке Запросы можно просмотреть статус предыдущих операций загрузки данных (красный, желтый, зеленый). Значения статусов идентификаторов запросов поясняется в следующей таблице:
Как показано на следующем рисунке, каждый запрос имеет собственный уникальный номер (идентификатор запроса). Идентификатор запроса (уникальный ключ, генерируемый непосредственно системой) используется для сохранения хронологической истории всех выполненных обновлений. При возникновении ошибки во время обновления по идентификаторам запросов системный администратор может обнаружить любую последовательность загрузки, оканчивающуюся ошибкой.
В процессе экстракции данные, требуемые для каждого запроса, извлекаются из исходной системы и помещаются в пакеты данных в пределах запроса. Затем выполняется загрузка данных в SAP BW.
Рисунок 88 Запросы в базовых кубах
Информация: При выполнении запроса пакеты данных с красным или желтым статусом загрузки не учитываются. В этом случае любые последующие загружаемые пакеты данных с зеленым статусом загрузки также не будут использованы в запросе, так как в этом случает невозможно обеспечить непротиворечивость данных в запросе.
Пополнение
если для инфо-куба существуют активированные и содержащие данные агрегаты, при загрузке новых запросов в инфо-куб также необходимо свести эти новые запросы в агрегаты (см. урок, посвященный агрегатам).
Свернуть
идентификатор запроса однозначно определяет каждую операцию загрузки данных в базовый куб. Идентификатор запроса также включен в измерение "Пакет". Это позволяет просматривать отдельные запросы в более подробном виде. При использовании идентификаторов запросов становится возможным многократное появление записи данных с сходным содержимым (все признаки одинаковы, за исключением идентификатора запроса) в таблице фактов. Это может привести к ненужному увеличению объема данных, что, в свою очередь, означает снижение системной производительности при выполнении отчетов. Это вызвано тем, что каждый раз при выполнении запроса для доступа к данным система использует идентификатор запроса, поскольку агрегация записей данных производится только в пределах этого запроса.
Для экономии места в памяти и повышения системной производительности при чтении данных применяется функция сжатия базовых кубов.
При сжатии базового куба идентификатор запроса сбрасывается в 0. Записи данных с идентичными ключами измерений агрегируются. После сжатия базового куба записи данных записываются в таблицу E базового куба, а сжатые запросы удаляются из таблицы F. Новые запросы переносятся в таблицу F. При необходимости они могут быть агрегированы (см. следующий рисунок).
Рисунок 113: Сжатие базовых кубов
Недостаток функции сжатия базовых кубов заключается в невозможности использования этих идентификаторов запросов для удаления агрегированных данных из инфо-куба. Это означает, что данные в базовом кубе могут быть удалены выборочно при помощи опции Выборочно или же полностью. Исходя из соображений производительности и экономии места в памяти SAP рекомендует выполнять сжатие базовых кубов сразу после подтверждения успешности загрузки запроса и отсутствия необходимости в удалении запроса из инфо-куба.
Информация: Автоматическое сведение и сжатие базовых кубов:
можно автоматизировать процессы распределения и сжатия недавно загруженных записей с помощью цепочек процессов.
Реорганизация
функция Реорганизация используется для восстановления сведенных в базовый куб и затем удаленных запросов (обновление запросов в базовом кубе).
Информация: Эта функция может применяться только по отношению к данным, хранящимся в PSA.
6.3.4Упражнение 10: Управление базовыми кубами
Время на упражнения:40 минут(ы)
Выполнив это упражнение, вы сможете:
выполнять ведение содержимого базового куба
использовать функции управления инфо-кубами для экономии места в памяти
Упражнение приведено в документе «Triseca_Academy_BW_Practice_Materials.doc»
6.4Урок 17: Агрегаты
Продолжительность урока:60 минут(ы)
6.4.1Обзор урока
На этом уроке рассматривается работа с агрегатами в системе SAP BW.
6.4.2Цели урока
Прослушав этот урок, вы сможете:
определять агрегаты и использовать различные функции их ведения
перечислять преимущества и недостатки использования агрегатов
использовать статистику BW и статистику запросов для эффективного определения и внедрения агрегатов
пояснять важность прогонов изменений агрегатов
6.4.3Агрегация в системе SAP BW
Агрегат – это агрегированный ракурс данных в базовом кубе. В агрегате избыточно и постоянно хранится набор данных базового куба в уплотненной форме в базе данных. Как и индексы базы данных, агрегаты повышают системную производительность; при этом не требуется вмешательства конечного пользователя или владения им этой процедурой. Возможно создание агрегатов для:
признаков,
атрибутов,
иерархий.