2.5. Технології віртуалізації збереження даних

Головні поняття та рівні віртуалізації

Віртуалізація збереження даних – це логічне абстрагування фізичних систем збереження, яке приховує деталі реалізації від користувача.

Метою розробки та впровадження віртуалізації є зменшення вартості збереження даних, краща керованість системами збереження, прозорість щодо платформ.

На сьогодні технології віртуалізації інтенсивно розвиваються. Тому не існує єдиного розуміння їх призначення чи стандартів. Велику роботу з впорядкування та класифікації основних принципів віртуалізації даних проводить Асоціація виробників мереж збереження даних (Storage Networking Industry Association – SNIA). Зокрема вона розробила таксономію основних принципів та систем віртуалізації збереження даних (рис. 6.6).

Рис. 6.6. Таксономія SNIA для систем віртуалізації збереження даних

Відповідно до цієї таксономії визначено, на якому рівні системи відбувається віртуалізація: блоків на диску, дисків, файлових систем, окремих записів чи файлів. За місцем впровадження віртуалізації розрізняють віртуалізацію на базі сервера (хоста), рішення на базі мережі, або дискових масивів. За способом організації передавання даних керування розрізняють віртуалізацію “In-band” та “Out-of-band”.

Важливою вимогою до сучасних систем віртуалізації збереження даних є автоматизація рутинних операцій з даними, таких як архівування, реплікація, балансування, додавання нових дисків або масивів тощо. Для зменшення ручних операцій віртуалізація має використовувати політики, за допомогою яких можна визначити, наприклад, що дана транзакція повинна використовувати швидкодіючу пам’ять та вимагає негайної реплікації порівняно з іншими транзакціями. Система збереження також повинна розрізняти застосування та їх потоки. Наприклад, відтворення та збереження відео вимагає більшої швидкодії, фінансові операції вимагають частого резервного копіювання.

Віртуалізація на рівні диску. Абстракції віртуальної пам’яті

Найменшою одиницею запису даних на диск з точки зору файлової системи є блок. Блок – це послідовність суміжних байтів на диску визначеного розміру. Розмір блоку визначають під час створення файлової системи, він буває у межах від 512 байтів до 512 Кбайтів. Чим більше блок, тим ефективніші операції з ним – за один запит, наприклад, зчитують більше даних. З іншого боку, у великих блоках можливе неефективне використання дискового простору – наприклад файл розміром 20Кбайт буде займати три 8-Кбайтні блоки, і 4 Кбайти будуть порожніми. Блоки одного файлу можуть знаходитися на різних дисках.

Коли операційна система ініціює операцію зчитування даних з диску, вона видає для контролера перелік адрес блоків, які необхідно зчитати у пам’ять. Контролер диску перетворює ці адреси, що використовує диск – номери циліндра, головки та сектору. З точки зору контролера блоки можуть бути розмішені на декількох дисках RAID масиву. Запис вказаного набору блоків з точки зору ОС для контролера масиву може виглядати як запис на віртуальний диск, що складається з багатьох блоків.

Таким чином, віртуалізація на рівні диску зводиться до відображення адрес отриманих від операційної системи в адреси дискової системи та навпаки.

Віртуалізація на рівні файлових систем

На рівні файлової системи дані зберігають у файлах. Файл – це іменована послідовність байтів, яка зберігається на запам’ятовуючому пристрої. Запис відрізняється від файлу тим, що його зміст є структурованим, таким як зміст запису таблиці бази даних. Записи можна зберігати в одному, або у декількох файлах. Записи у звичайних файлах можуть бути і неструктуровані.

Важливою частиною файлу є його метадані. Ці дані містять керуючу інформацію файлу – його назву, час створення, власника, дозволи доступу. Метадані файлу можна зберігати та використовувати окремо від тіла файлу. Це часто використовують у системах віртуалізації.

Файлова система вирішує завдання організації систематичного зберігання та ефективного використання файлів. Для виконання цього завдання вона використовує набір таблиць керування. Файловий простір поділяють на томи. Для кожного тому ФС підтримує окремий набір таблиць. Фізично том може бути розмішений на частині диску, або декількох дисках.

Рішення віртуалізації на рівні тому (LVM – Logical Volume Management) дозволяє застосуванням працювати з логічними томами замість фізичних. Логічний том виглядає як один локальний диск, хоча насправді він може охоплювати декілька фізичних дисків. Рішення LVM дають змогу динамічно (без зупинки системи) додавати або вилучати дисковий простір з тому, проводити операції архівування, перевіряти цілісність даних та ін. LVM може бути реалізована як проміжне ПЗ розміщене між файловою системою та драйверами пристроїв, між комп’ютером та масивом у SAN, або навіть у вигляді вбудованого ПЗ у масиві RAID.

Віртуальні файлові системи

Одним з недоліків збереження даних на багатьох масивах з різними типами файлових систем є неефективність використання дискового простору. При цьому окремі типи файлових систем вимагають окремого налаштування та адміністрування. Вирішення цієї проблеми – у використанні серверів метаданих, які опрацьовують запити до файлів, враховуючи специфіку конкретної файлової системи.

Прикладом реалізації віртуальної файлової системи є SAN File System (SAN FS) розроблена фірмою IBM у межах проекту Storage Tank (рис. 6.7). Головним принципом такої системи є реалізація відображення функцій логічного доступу до даних у фізичний ввід- вивід в окремому сервері метаданих. Сервери застосувань звертаються до сервера метаданих за інформацією про місце знаходження потрібного файлу та за дозволом виконати потрібну операцію над даними. Наступні операції відбуваються між серверами застосувань та системами збереження напряму, без посередників, що дозволяє підняти продуктивність.

Рис. 6.7. Схема віртуальної файлової системи SAN FS

Сервер метаданих зберігає всю інформацію, яка звичайно зберігається у файловій системі (назва файлу, дати створення та модифікації, адреса розміщення, права доступу та ін).

Дискові масиви зберігають тільки блоки даних. Це дозволяє динамічно переміщувати інформацію між окремими дисковими масивами без зупинки застосувань. Це також створює єдиний адресний простір та простір імен.

Віртуалізація на рівні хоста

Рішення віртуалізації на рівні окремого хоста звичайно полягає у реалізації LVM (рис. 6.8.).

Рис. 6.8. Схема реалізації LVM на рівні хоста

Недоліком такого підходу є перевантаження процесора хоста функціями LVM, що, наприклад, у випадку реалізації програмного RAID може призвести до уповільнення роботи. Параметри роботи LVM на хості залежать від ефективності операційної системи та серверної платформи. Відсутність спеціалізованого апаратного та програмного забезпечення LVM також знижує вислідну ефективність.

Використання LVM базованого на хості призводить до необхідності налаштування та адміністрування кожного хоста окремо, що може бути неприйнятним у випадку великої та складної мережі з сотнями або тисячами серверів. Крім того, хост є власником ресурсів, доступних через LVM. У випадку виходу хоста з ладу його ресурси та налаштування приєднаних до нього дисків втрачаються, що може створити проблеми доступу до даних.

Головною перевагою розміщення LVM на хості є незалежність від дискових архітектур, їх механізмів керування.

Ще одне рішення використовує подвійні шляхи доступу з хоста до дискового масиву (рис. 6.9).

Рис. 6.9. Надлишкова конфігурація з подвійним шляхом доступу до масиву

Використання резервних шляхів доступу до дискового масиву є обов’язковим для систем високої доступності. Незважаючи на великі додаткові кошти на обладнання, побудова резервних шляхів доступу – це єдиний шлях до забезпечення доступності.

Віртуалізація збереження даних на рівні дискових масивів

Віртуалізація на базі дискових масивів унезалежнює від технічних деталей серверів та дає змогу використати додаткові можливості, запропоновані виробниками масивів. Контролери масивів реалізують базові механізми віртуалізації у формі підтримки RAID масивів, підрахунку контрольних сум.

На рівні масивів реалізують різні форми координації збереження даних між різними масивами, зокрема реплікацію. У випадку синхронної реплікації (рис. 6.10) транзакція запису даних вважається завершеною, коли запис проведено як на первинний, так і на вторинний масив. Для кращого захисту від крадіжок, стихійних лих первинний і вторинний масиви розміщують якнайдалі один від одного, у надійних приміщеннях та локаціях. При цьому на загальну продуктивність системи впливає відстань між точками розміщення масивів. Це обмежує відстань між масивами до 100 – 150 км.

Рис. 6.10. Синхронна реплікація

В методі асинхронної реплікації транзакція запису вважається завершеною при закінченні запису на первинний масив (рис. 6.11). Як правило первинний масив ставить транзакції у чергу на запис до вторинного масиву та вимагає підтвердження успішного запису. Метод асинхронної реплікації менш надійний ніж метод синхронної, але він не має обмежень на відстань між масивами.

Важливим видом сервісу віртуалізації, який надається на рівні дискових масивів є побудова знімків (snapshots) стану даних масиву у визначений момент часу. Знімки стану доповнюють реплікацію як механізм захисту даних. Якщо реплікація здійснюється на рівні транзакцій, то знімки стану відображають усі зміни у даних на визначений момент часу. На відміну від реплікації, виконання знімку вимагає попереднього очищення буферів пам’яті та завершення усіх незавершених операцій. Для більшої надійності, знімки стану даних не зберігають на локальному масиві, а реплікують його на інший масив (рис. 6.12).

Рис. 6.11. Асинхронна реплікація

Рис. 6.12.Реплікація знімку даних

З метою зменшення розміру знімку, у ньому записують тільки зміни, що відбулися відносно попереднього стану даних. Знімки стану даних використовують для відновлення стану даних у випадку їх спотворення вірусами, втручанням зловмисників, а також для проведення аналізу у ході розслідування операцій з даними.

Віртуалізація збереження даних на рівні мережі

Реалізація функцій віртуалізації на рівні мережі передбачає перенесення цих функцій у комутатори мережі SAN. Таке перенесення унезалежнює розробників віртуалізаційних технологій від необхідності врахування обмежень, закладених виробниками комп’ютерів та дискових масивів. Прикладом такого вирішення є перенесення функцій дискового контролера з диску у комутатор мережі. Водночас, завдання реалізації віртуалізації на рівні мережі повинно враховувати, що комутатори виконують складні комунікаційні функції і мають обмежені ресурси, що може вплинути на швидкодію виконання операцій віртуалізації.

Віртуалізація “In-band” та “Out-of-band”.

У системах віртуалізації збереження даних виділяють два типи потоків даних: потоки керування, що передають метадані про файли та налаштування та потоки даних, що переносять блоки файлу. Якщо потоки керування та потоки даних прямують одним і тим же шляхом, то систему називають “in-band” системою. Якщо потоки керування та даних розділені (як наприклад, у віртуальній файловій системі SAN FS, то таку систему називають “out-of-band” системою.

Використання систем віртуалізації збереження даних та їх менеджмент

Системи віртуалізації збереження даних використовуються для підвищення надійності збереження даних. Вважають, що необхідну гнучкість таким системам можна надати шляхом використання політик та профілів керування. Такий підхід дає змогу виокремити певний тип транзакцій та застосувати до нього окремі вимоги щодо збереження. Наприклад, закон може наголошувати, що інформація про торгові транзакції повинна бути доступна для аналізу протягом 24 годин після транзакції. Виконання цієї вимоги потребує виокремлення певного типу торгових транзакцій та гарантування доступності даних залежно від часу.

Для стандартизації процесів керування в галузі віртуалізації збереження даних SNIA розробила специфікацію інтерфейсу керування (SMI-S) яка базується на використанні інформаційної моделі CIM (Common Information Model). Схема CIM дає змогу визначити політики керування системами віртуалізації даних та здійснити відповідні операції керування за посередництвом протоколу WBEM.

Вирішення питання взаємодії систем віртуалізації даних з застосуваннями відбувається двома шляхами: побудовою систем віртуалізації орієнтованих на застосування (Application-Aware Storage Virtualization) та розробкою застосувань, орієнтованих на системи віртуалізації збереження (Virtualization-Aware Applications).

У першому випадку для кожного типу застовувань визначено свій набір політик. Система віртуалізації аналізує тип застосування та використовує відповідний набір політик при роботі з ним (рис. 6.13).

Для застосувань, орієнтованих на віртуалізовані системи збереження даних необхідно розробити API доступу. Застосування використовують сервіси надані системою віртуалізації відповідно до своїх потреб (рис. 6.14).

Використання API доступу дає змогу побудувати гнучкі системи віртуалізації та використати особливі вимоги застосувань.

Рис.6.13. Робота систем віртуалізації орієнтованих на застосування

Рис.6.14. Робота застосувань орієнтованих на системи віртуалізації збереження даних

Питання до самоконтролю

1. В чому переваги SSD дисків порівняно з HDD ?

2. Принципи збереження даних на RAID масивах.

3. Сфера застовування RAID п’ятого рівня.

4. Сформулюєте закон Зіпфа.

5. Схеми приєднання дискової пам’яті.

6. Де застосовують менеджери віртуальних томів (LVM) ? Які задачі вони вирішують?

7. Як побудована та працює віртуальна файлова система ?

8. В чому різниця між синхронною та асинхронною реплікаціями ?

Лекція 4. Служби каталогів.

3.1. Загальна характеристика служб каталогів комп’ютерних мереж

Потреба пiдтримки спецiальних служб каталогiв комп’ютерних мереж зумовлена значним зростанням мереж, наявнiстю в них багатьох серверiв рiзного профiлю, великої кiлькостi користувачiв та застосувань. Що ж таке служба каталогiв?

Служба каталогiв (Directory Service) - це розподiлена база даних з iнформацiєю про мережевi об’єкти, а також засоби доступу до неї та пiдтримки. Це також мережевий сервіс, який надає інформацію про мережеві об’єкти, та послуги аутентифікації.

Вона дещо подiбна до Реєстру (Registry) Windows, однак, на вiдмiну вiд нього, мiстить параметри конфiгурацiї не одного комп’ютера, а всiх об’єктiв мережi. Наявнiсть служби каталогiв (СК) дає змогу створювати тiльки один варiант реєстрацiйних параметрiв кожного мережевого об’єкта. Наприклад, користувач, зареєстрований у СК, може працювати з багатосерверною мережею на будь-якiй робочiй станцiї i завжди працюватиме у звичному для себе середовищi. Без СК йому довелося б реєструватися на кожному серверi у випадку запуску кожного застосування. Аналогiчнi переваги СК має для централiзованого збереження iнформацiї про iншi об’єкти мережi: файл-сервери, сервери друкування та принтери, модемнi сервери тощо. Загалом, служба каталогів мережі дає змогу розглядати мережу як з одне ціле. Вона віртуалізує мережеві ресурси, та дає змогу працювати з ними незалежно від місця їх розташування. Окремим випадком служби каталогів є DNS. Розглянемо властивості сучасної служби каталогів детальніше.

• Мережеві ресурси згруповані в ієрархічну структуру (дерево).

У корені дерева є логічний об’єкт, який об’єднує всі ресурси дерева та зберігає їхні спільні властивості.

Гілки дерева – логічні об’єкти-контейнери, які слугують для групування об’єктів. Об’єкт-контейнер містить інші об’єкти, серед яких також можуть бути контейнери. Таким способом утворюється дерево об’єктів. Найуживанішими типами контейнерів є об’єкти–країни, організації, підрозділи.

Листя дерева – це об’єкти, що відповідають мережевим ресурсам. Такими ресурсами можуть бути сервери різних типів, робочі станції, принтері, користувачі, їхні посади, окремі застосування та ін. Список можливих типів кінцевих об’єктів постійно поповнюється.

Групування мережевих ресурсів у вигляді дерева дало змогу розглядати логічну структуру мережі окремо від фізичної, хоча в окремих випадках під час побудови дерева доводиться враховувати й особливості фізичної структури, наприклад структуру комунікацій.