- •Технологии бд
- •1. Теоретические основы организации бд. Реляционная модель данных. 5
- •2. Технологии проектирования реляционных бд 27
- •3. Технологии манипулирования данными в бд. Основы sql. 93
- •4. Технологии построения информационных систем – приложений бд 136
- •5. Хранилища данных (DataWarehousing) и системы оперативной аналитической обработки данных 161
- •6. Литература 171
- •1.Теоретические основы организации бд. Реляционная модель данных.
- •1.1.Подходы к организации баз данных
- •1.1.1.Иерархические базы данных
- •1.1.2.Сетевые базы данных
- •1.1.3.Реляционные базы данных
- •12 Правил Кодда:
- •1.2.Введение в реляционную модель данных
- •1.2.1.Основные понятия реляционной модели данных
- •1.2.1.1.Тип данных
- •1.2.1.2.Домен
- •1.2.1.3.Заголовок отношения, кортеж, тело отношения, значение отношения, переменная отношения
- •1.2.1.4.Первичный ключ и интуитивная интерпретация реляционных понятий
- •1.2.2.Фундаментальные свойства отношений
- •1.2.2.1.Отсутствие кортежей-дубликатов, первичный и возможные ключи отношений
- •1.2.2.2.Отсутствие упорядоченности кортежей
- •1.2.2.3.Отсутствие упорядоченности атрибутов
- •1.2.2.4.Атомарность значений атрибутов, первая нормальная форма отношения
- •1.2.3.Реляционная модель данных
- •1.2.3.1.Общая характеристика
- •1.2.3.2.Целостность реляционных данных
- •Null-значения
- •Трехзначная логика (3vl)
- •Потенциальные ключи
- •Целостность сущностей
- •Внешние ключи
- •Целостность внешних ключей
- •Замечания к правилам целостности сущностей и внешних ключей
- •Операции, могущие нарушить ссылочную целостность
- •Стратегии поддержания ссылочной целостности
- •2.Технологии проектирования реляционных бд
- •2.1.Этапы разработки базы данных
- •2.2.Критерии оценки качества логической модели данных
- •Адекватность базы данных предметной области
- •Легкость разработки и сопровождения базы данных
- •Скорость операций обновления данных (вставка, обновление, удаление)
- •Скорость операций выборки данных
- •2.3.Проектирование реляционных баз данных на основе принципов нормализации
- •2.3.1.Понятие метода нормализации отношений
- •2.3.2.Декомпозиция без потерь и функциональные зависимости
- •Корректные и некорректные декомпозиции отношений. Теорема Хеза
- •Теорема Хеза.
- •2.3.3.Диаграммы функциональных зависимостей
- •2.3.4.Первая нормальная форма
- •2.3.5.Минимальные функциональные зависимости и вторая нормальная форма
- •2.3.5.1.Аномалии обновления, возникающие из-за наличия неминимальных функциональных зависимостей
- •2.3.5.2.Возможная декомпозиция
- •2.3.5.3.Вторая нормальная форма
- •2.3.6.Нетранзитивные функциональные зависимости и третья нормальная форма
- •2.3.6.1.Аномалии обновлений, возникающие из-за наличия транзитивных функциональных зависимостей
- •2.3.6.2.Возможная декомпозиция
- •2.3.6.3.Третья нормальная форма
- •2.3.6.4.Независимые проекции отношений. Теорема Риссанена
- •2.3.7.Перекрывающиеся возможные ключи и нормальная форма Бойса-Кодда
- •2.3.7.1.Аномалии обновлений, связанные с наличием перекрывающихся возможных ключей
- •2.3.7.2.Нормальная форма Бойса-Кодда
- •2.3.7.3.Всегда ли следует стремиться к bcnf?
- •2.3.8.Необходимость дальнейшей нормализации
- •2.3.9.Многозначные зависимости и четвертая нормальная форма
- •2.3.9.1.Аномалии обновлений при наличии многозначных зависимостей и возможная декомпозиция
- •2.3.9.2.Многозначные зависимости. Теорема Фейджина. Четвертая нормальная форма
- •Лемма Фейджина
- •Теорема Фейджина
- •2.3.10.Зависимости проекции/соединения и пятая нормальная форма
- •2.3.10.2.Зависимость проекции/соединения
- •2.3.10.3.Аномалии, вызываемые наличием зависимости проекции/соединения
- •2.3.10.4.Устранение аномалий обновления в 3-декомпозиции
- •2.3.10.5.Пятая нормальная форма
- •2.3.11.Заключение
- •2.4.Проектирование реляционных баз данных с использованием семантических моделей: er-диаграммы
- •2.4.1.Ограниченность реляционной модели при проектировании баз данных
- •2.4.1.1.Семантические модели данных
- •2.4.2.Семантическая модель Entity-Relationship (Сущность-Связь)
- •2.4.2.1.Основные понятия er-модели
- •2.4.2.2.Уникальные идентификаторы типов сущности
- •2.4.3.Нормальные формы er-диаграмм
- •2.4.3.1.Первая нормальная форма er-диаграммы
- •2.4.3.2.Вторая нормальная форма er-диаграммы
- •2.4.3.3.Третья нормальная форма er-диаграммы
- •2.4.4.Более сложные элементы er-модели
- •2.4.4.1.Наследование типов сущности и типов связи
- •2.4.4.2.Взаимно исключающие связи
- •2.4.5.Получение реляционной схемы из er-диаграммы
- •2.4.5.1.Базовые приемы
- •2.4.5.2.Представление в реляционной схеме супертипов и подтипов сущности
- •2.4.5.3.Представление в реляционной схеме взаимно исключающих связей
- •2.4.6.Виды нотаций er-диаграмм
- •2.4.6.1.Метод Баркера
- •2.4.6.2.Методология idef1x
- •2.4.7.Заключение
- •2.5.Проектирование реляционных баз данных с использованием семантических моделей: диаграммы классов языка uml
- •2.5.1.Общие сведения об uml
- •2.5.2.Основные понятия диаграмм классов uml
- •2.5.2.1.Классы, атрибуты, операции
- •2.5.2.2.Категории связей. Связь-зависимость
- •2.5.2.3.Связи-обобщения и механизм наследования классов в uml
- •2.5.2.4.Связи-ассоциации: роли, кратность, агрегация
- •2.5.3.Ограничения целостности и язык ocl
- •2.5.4.Получение схемы реляционной базы данных из диаграммы классов uml
- •2.5.5.Заключение
- •2.6.Case-системы проектирования информационных систем
- •2.6.1.Назначение и разновидности case-систем
- •3.Технологии манипулирования данными в бд. Основы sql.
- •3.1.Общие сведения о sql
- •3.2.Группы операторов sql
- •3.3.Средства определения схемы бд
- •3.3.1.Описание примера и используемого для учебных целей сервера бд
- •3.3.2.Создание бд
- •3.3.3.Типы данных и домены
- •3.3.4.Общий формат оператора создания таблиц
- •3.3.5.Ограничения целостности
- •3.3.6.Первичные и уникальные (альтернативные) ключи
- •3.3.7.Внешний ключ и определение ссылочной целостности
- •3.3.8.Требования к значениям столбцов
- •3.3.9.Изменение объявлений таблицы
- •3.3.10.Удаление таблицы
- •3.3.11.Работа с индексами Логическое разделение на ключи индексы:
- •Необходимость создания индексов:
- •3.4.Средства манипулирования данными
- •3.4.1.Оператор select
- •3.4.1.1.Общий формат оператора select
- •3.4.1.2.Использование предложения where для задания условия отбора
- •3.4.1.3.Использование предложения where. Внутреннее соединение таблиц.
- •3.4.1.4.Использование псевдонимов таблиц
- •3.4.1.5.Предложение order by – определение сортировки
- •3.4.1.6.Устранение повторяющихся значений
- •3.4.1.7.Расчет значений вычисляемых столбцов
- •3.4.1.8.Агрегатные функции
- •3.4.1.9.Группировка записей
- •3.4.1.10.Наложение ограничений на группировку записей
- •3.4.1.11.Оператор select: задание сложных условий поиска. Использование логических выражений
- •Сравнение столбца с результатом вычисления выражения
- •Использование between
- •Использование in
- •Использование функции upper
- •Использование like
- •Использование функции cast
- •3.4.1.12.Вложение подзапросов
- •Предложение exists.
- •Предложение singular.
- •Использование all, some (any).
- •Использование having и агрегатных функций для вложенных подзапросов
- •3.4.1.13.Внешние соединения
- •3.4.1.14.Объединение запросов – union
- •3.4.1.15.Использование is null
- •3.4.1.16.Использование операции сцепления строк
- •3.4.2.Оператор insert
- •3.4.2.1.Явное указание списка значений
- •3.4.2.2.Формирование значений при помощи оператора select
- •3.4.5.2.Способы формирования просмотра
- •3.4.5.3.Обновляемые и необновляемые просмотры
- •3.4.5.4.Дополнительные параметры просмотра
- •3.5.Работа с хранимыми процедурами
- •3.5.1.Понятие хранимой процедуры
- •3.5.2.Преимущества использования хп:
- •3.5.3.Создание хранимой процедуры
- •Оператор suspend
- •Оператор while … do
- •Оператор exit
- •Оператор execute procedure
- •Оператор post_event
- •3.5.5.Изменение и удаление хп
- •3.6.Работа с триггерами
- •3.6.1.Общие сведения о триггерах
- •3.6.2.Создание триггеров
- •3.6.3.Значения old и new
- •3.6.4.Изменение существующего триггера:
- •3.6.5.Удаление триггера:
- •3.6.6.Обеспечение каскадных воздействий с помощью триггеров
- •3.6.7.Использование триггеров для реализации бизнес-правил
- •3.7.Использование генераторов
- •3.8.Транзакции
- •3.8.1.Откат изменений и целостность бд
- •3.8.2.Понятие транзакции
- •3.8.3.Уровни изоляции транзакций
- •3.9.Физическое проектирование баз данных
- •3.9.1.Учет особенностей используемого сервера бд
- •3.9.2.Противоречия теории и практики нормализации
- •3.9.3.Денормализация для оптимизации
- •3.9.4.Оптимизация запросов
- •Оптимальная структура индексов
- •«Полезность» индекса
- •Целесообразность создания индексов
- •Частичное использование составного индекса
- •Многопоточность поиска по or и in
- •Уменьшение общего количества индексов.
- •4.Технологии построения информационных систем – приложений бд
- •4.1.Классификация архитектур построения приложений баз данных По технологии обработки данных
- •По способу доступа к данным
- •Файл-сервер.
- •Клиент-сервер.
- •Трехуровневая архитектура
- •4.2.Базовая архитектура сервера баз данных
- •4.3.Технологии доступа к данным
- •4.3.1.Открытый интерфейс доступа к базам данных – odbc Основа odbc
- •Архитектура odbc
- •Функции odbc api
- •4.3.2.Объектная модель ole db
- •4.4.Реализация доступа к базам данных с использованием Borland Delphi
- •4.4.1.Механизмы доступа к бд
- •Компоненты для доступа к данным, реализующие:
- •Визуальные компоненты, реализующие интерфейс пользователя;
- •4.4.2.Наборы данных
- •4.4.3.Классы библиотеки vcl Класс tdataset
- •Класс tdatasource
- •Класс ttable
- •Класс tquery
- •Класс tsqltable
- •Класс tupdatesql
- •Класс tdatabase
- •Класс tadoconnection
- •Классы компонентов управления данными
- •События, инициируемые для наборов данных
- •4.4.4.Применение многозвенных архитектур
- •5.Хранилища данных (DataWarehousing) и системы оперативной аналитической обработки данных
- •5.1.Технология хранилищ данных
- •5.1.1.Эволюция хранилищ данных
- •5.1.2.Концепция хранилищ данных
- •5.1.3.Отличия хранилищ данных от систем oltp
- •5.2.Оперативная аналитическая обработка (olap)
- •5.2.1.Связь olap и хд
- •5.2.2.Структура информационно-аналитической системы и место olap в ней
- •5.2.3.Многомерная модель данных
- •5.2.3.1.Концептуальная многомерная модель
- •5.2.3.2.Логическая многомерная модель
- •5.2.3.3.Агрегация данных
- •5.2.4.Архитектуры olap
- •5.2.4.1.О преимуществах и недостатках различных архитектур Реляционное хранилище
- •Многомерная бд
- •Смешанный вариант
- •5.2.5.Использование технологии olap
- •6.Литература
4.2.Базовая архитектура сервера баз данных
Типичный сервер баз данных на логическом уровне отвечает за выполнение следующих функций:
поддержание логически согласованного набора файлов;
обеспечение языка манипулирования данными;
восстановление информации после разного рода сбоев;
организацию реально параллельной работы нескольких пользователей.
На физическом уровне сервером БД реализуются следующие функции:
Непосредственное управление данными во внешней памяти
Эта функция включает обеспечение необходимых структур внешней памяти как для хранения непосредственных данных, входящих в БД, так и для служебных целей, например, для убыстрения доступа к данным в некоторых случаях (обычно для этого используются индексы). В некоторых реализациях серверов баз данных активно используются возможности существующих файловых систем, в других работа производится вплоть до уровня устройств внешней памяти. Но подчеркнем, что в развитых СУБД пользователи в любом случае не обязаны знать, использует ли СУБД файловую систему, и если использует, то как организованы файлы. В частности, СУБД поддерживает собственную систему именования объектов БД.
Управление буферами оперативной памяти
Серверы баз данных обычно работают с БД значительного размера; по крайней мере этот размер обычно существенно больше доступного объема оперативной памяти. Понятно, что если при обращении к любому элементу данных будет производиться обмен с внешней памятью, то вся система будет работать со скоростью устройства внешней памяти. Практически единственным способом реального увеличения этой скорости является буферизация данных в оперативной памяти. При этом, даже если операционная система производит общесистемную буферизацию (как в случае ОС UNIX), этого недостаточно для целей СУБД, которая располагает гораздо большей информацией о полезности буферизации той или иной части БД. Поэтому в развитых СУБД поддерживается собственный набор буферов оперативной памяти с собственной дисциплиной замены буферов.
Управление транзакциями
Транзакция - это последовательность операций над БД, рассматриваемых СУБД как единое целое. Либо транзакция успешно выполняется, и СУБД фиксирует (COMMIT) изменения БД, произведенные этой транзакцией, во внешней памяти, либо ни одно из этих изменений никак не отражается в состоянии БД. Понятие транзакции необходимо для поддержания логической целостности БД. Но понятие транзакции гораздо более важно в многопользовательских СУБД. То свойство, что каждая транзакция начинается при целостном состоянии БД и оставляет это состояние целостным после своего завершения, делает очень удобным использование понятия транзакции как единицы активности пользователя по отношению к БД. При соответствующем управлении параллельно выполняющимися транзакциями со стороны СУБД каждый из пользователей может в принципе ощущать себя единственным пользователем СУБД (на самом деле, это несколько идеализированное представление, поскольку в некоторых случаях пользователи многопользовательских СУБД могут ощутить присутствие своих коллег).
С управлением транзакциями в многопользовательской СУБД связаны важные понятия сериализации транзакций и сериального плана выполнения смеси транзакций. Под сериализаций параллельно выполняющихся транзакций понимается такой порядок планирования их работы, при котором суммарный эффект смеси транзакций эквивалентен эффекту их некоторого последовательного выполнения. Сериальный план выполнения смеси транзакций - это такой план, который приводит к сериализации транзакций. Понятно, что если удается добиться действительно сериального выполнения смеси транзакций, то для каждого пользователя, по инициативе которого образована транзакция, присутствие других транзакций будет незаметно (если не считать некоторого замедления работы по сравнению с однопользовательским режимом).
Существует несколько базовых алгоритмов сериализации транзакций. В централизованных СУБД наиболее распространены алгоритмы, основанные на синхронизационных захватах объектов БД. При использовании любого алгоритма сериализации возможны ситуации конфликтов между двумя или более транзакциями по доступу к объектам БД. В этом случае для поддержания сериализации необходимо выполнить откат (ликвидировать все изменения, произведенные в БД) одной или более транзакций. Это один из случаев, когда пользователь многопользовательской СУБД может реально (и достаточно неприятно) ощутить присутствие в системе транзакций других пользователей.
Журнализация
Одним из основных требований к СУБД является надежное хранение данных во внешней памяти. Под надежностью хранения понимается то, что СУБД должна быть в состоянии восстановить последнее согласованное состояние БД после любого аппаратного или программного сбоя. Обычно рассматриваются два возможных вида аппаратных сбоев: так называемые мягкие сбои, которые можно трактовать как внезапную остановку работы компьютера (например, аварийное выключение питания), и жесткие сбои, характеризуемые потерей информации на носителях внешней памяти. Примерами программных сбоев могут быть: аварийное завершение работы СУБД (по причине ошибки в программе или в результате некоторого аппаратного сбоя) или аварийное завершение пользовательской программы, в результате чего некоторая транзакция остается незавершенной. Первую ситуацию можно рассматривать как особый вид мягкого аппаратного сбоя; при возникновении последней требуется ликвидировать последствия только одной транзакции.
Понятно, что в любом случае для восстановления БД нужно располагать некоторой дополнительной информацией. Другими словами, поддержание надежного хранения данных в БД требует избыточности хранения данных, причем та часть данных, которая используется для восстановления должна храниться особо надежно. Наиболее распространенным методом поддержания такой избыточной информации является ведение журнала изменений БД.
Журнал - это особая часть БД, недоступная пользователям СУБД и поддерживаемая с особой тщательностью (иногда поддерживаются две копии журнала, располагаемые на разных физических дисках), в которую поступают записи обо всех изменениях основной части БД. В разных СУБД изменения БД журнализуются на разных уровнях: иногда запись в журнале соответствует некоторой логической операции изменения БД (например, операции удаления строки из таблицы реляционной БД), иногда запись в журнале соответствует минимальной внутренней операции модификации страницы внешней памяти; в некоторых системах одновременно используются оба подхода.
Во всех случаях придерживаются стратегии "упреждающей" записи в журнал (так называемого протокола Write Ahead Log - WAL). Грубо говоря, эта стратегия заключается в том, что запись об изменении любого объекта БД должна попасть во внешнюю память журнала раньше, чем измененный объект попадет во внешнюю память основной части БД. Известно, что если в СУБД корректно соблюдается протокол WAL, то с помощью журнала можно решить все проблемы восстановления БД после любого сбоя.
Самая простая ситуация восстановления - индивидуальный откат транзакции. Строго говоря, для этого не требуется общесистемный журнал изменений БД. Достаточно для каждой транзакции поддерживать локальный журнал операций модификации БД, выполненных в этой транзакции, и производить откат транзакции путем выполнения обратных операций, следуя от конца локального журнала. В некоторых СУБД так и делают, но в большинстве систем локальные журналы не поддерживают, а индивидуальный откат транзакции выполняют по общесистемному журналу, для чего все записи от одной транзакции связывают обратным списком (от конца к началу).
При мягком сбое во внешней памяти основной части БД могут находиться объекты, модифицированные транзакциями, не закончившимися к моменту сбоя, и могут отсутствовать объекты, модифицированные транзакциями, которые к моменту сбоя успешно завершились (по причине использования буферов оперативной памяти, содержимое которых при мягком сбое пропадает). При соблюдении протокола WAL во внешней памяти журнала должны гарантированно находиться записи, относящиеся к операциям модификации обоих видов объектов. Целью процесса восстановления после мягкого сбоя является состояние внешней памяти основной части БД, которое возникло бы при фиксации во внешней памяти изменений всех завершившихся транзакций и которое не содержало бы никаких следов незаконченных транзакций.
Для того, чтобы этого добиться, сначала производят откат незавершенных транзакций (undo), а потом повторно воспроизводят (redo) те операции завершенных транзакций, результаты которых не отображены во внешней памяти. Этот процесс содержит много тонкостей, связанных с общей организацией управления буферами и журналом.
Для восстановления БД после жесткого сбоя используют журнал и архивную копию БД. Грубо говоря, архивная копия - это полная копия БД к моменту начала заполнения журнала (имеется много вариантов более гибкой трактовки смысла архивной копии). Конечно, для нормального восстановления БД после жесткого сбоя необходимо, чтобы журнал не пропал. Как уже отмечалось, к сохранности журнала во внешней памяти в СУБД предъявляются особо повышенные требования. Тогда восстановление БД состоит в том, что исходя из архивной копии по журналу воспроизводится работа всех транзакций, которые закончились к моменту сбоя. В принципе, можно даже воспроизвести работу незавершенных транзакций и продолжить их работу после конца восстановления. Однако в реальных системах это обычно не делается, поскольку процесс восстановления после жесткого сбоя является достаточно длительным.
Языки БД
Для работы с базами данных используются специальные языки, в целом называемые языками баз данных. В ранних СУБД поддерживалось несколько специализированных по своим функциям языков. Чаще всего выделялись два языка - язык определения схемы БД (SDL - Sсhema Definition Language) и язык манипулирования данными (DML - Data Manipulation Language). SDL служил главным образом для определения логической структуры БД, т.е. той структуры БД, какой она представляется пользователям. DML содержал набор операторов манипулирования данными, т.е. операторов, позволяющих заносить данные в БД, удалять, модифицировать или выбирать существующие данные.
В современных СУБД обычно поддерживается единый интегрированный язык, содержащий все необходимые средства для работы с БД, начиная от ее создания, и обеспечивающий базовый пользовательский интерфейс с базами данных. Стандартным языком наиболее распространенных в настоящее время реляционных СУБД является язык SQL.