Grid — виртуализация ресурсов

Технология управления распределенными ресурсами является одной из важнейших составляющих стратегии, направленной, на обеспечение управляемости информационной инфраструктуры в условиях возрастающей нагрузки и увеличения числа компонентов сети.

Управляемость достигается через виртуализацию ресурсов, путем перехода на более высокий уровень — от коробок, портов и дисков к виртуальным томам хранения данных, виртуальным вычислительным ресурсам и виртуальным подсетям. На сегодняшний день в Sun Microsystems накоплен значительный опыт динамического управления вычислительными ресурсами внутри компьютера.

Применение технологий GRID позволяет строить систему управления распределенными вычислительными ресурсами. В такой ситуации пользователю уже не важно, на каком конкретном узле сети исполняется его задача; он просто потребляет определенное количество виртуальной процессорной мощности, имеющейся в сети.

GRID-системы гармонично дополняют ряд вычислительных архитектур, используемых сегодня. С одного края этого ряда находятся серверы с симметричной многопроцессорной архитектурой: общая память, сильные связи между процессорами, центральный коммутатор с низкой латентностью (сотни наносекунд). Именно эти параметры и определяют набор задач, которые решаются на этих системах: большие базы данных, сложная аналитика, вычислительные задачи, требующие согласованных операций над большими объемами данных.

Системы GRID, в которых время взаимодействия между узлами измеряется миллисекундами и секундами, не предназначены для решения параллельных задач, а нацелены по большей части на решение пакетных заданий, когда каждая отдельная задача выполняется целиком на одном узле. Система управления вычислительной сетью занимается диспетчеризацией отдельных заданий, а не взаимосвязью между отдельными блоками одной задачи.

Grid — продукты и технологии Sun

Нет одинаковых GRID-сетей, нет продуктов, которые подходили бы для всех задач. Sun Microsystems различает три основных категории GRID-сетей.

• Cluster GRID — относительно простая вычислительная сеть, предоставляющая ресурсы пользователям одной рабочей группы, одного департамента, одного проекта.

• Campus (Enterprise) GRID — вычислительная сеть корпоративного уровня, охватывающая несколько групп, работающих над различными проектами. В таких сетях должны быть в той или иной мере реализованы политики разделения ресурсов, правила "обмена" ресурсами и, возможно, правила взаиморасчетов.

• Global GRID — сеть, в которой участвуют несколько независимых организаций, предоставляющих друг другу свои ресурсы. Эти организации установили определенные правила обмена ресурсами, определенные протоколы взаимодействия. На сегодняшний день, пожалуй, только академические организации принимают участие в таких сетях; обмен вычислительными ресурсами между коммерческими компаниями пока еще осложнен нерешенными организационными вопросами.

Продукты Sun Microsystems предназначены в основном для корпоративных GRID-сетей категорий Cluster GRID и Campus GRID.

• Sun GRID Engine. Этот продукт предназначен для сетей класса Cluster GRID и доступен бесплатно. Пакет позволяет объединить несколько серверов или рабочих станций в единый вычислительный ресурс, который может быть использован как для пакетных задач, так и для высокопроизводительных пакетных вычислений. Администратор вычислительной сети может получать данные мониторинга и статистики, и на их основе оптимизировать уровень использования ресурсов. Административный интерфейс позволяет задавать различные параметры вычислительных задач, такие, как приоритеты, требуемые ресурсы оборудования, лицензии на программное обеспечение, временное окно выполнения, права пользователей на доступ к тем или иным ресурсам.

• Sun GRID Engine Enterprise Edition. Обычный путь развития вычислительных сетей в организации можно представить себе примерно так. Вначале небольшая группа пользователей, занятых научными или инженерными расчетами, решает объединить свои ресурсы на основе простых правил и договоренностей. Это можно легко сделать на основе свободно распространяемого программного обеспечения. Таких групп становится больше, и у них возникает вполне законное желание обмениваться ресурсами, заполняя простаивающие вычислительные мощности. Здесь уже простыми договоренностями обойтись трудно, необходимо внедрять какие-то технические средства учета и «взаиморасчетов».

Ответом на эти потребности является пакет Sun GRID Engine Enterprise Edition. Этот программный пакет позволяет задавать политику использования ресурсов и взаимодействия нескольких рабочих групп. Пакет поддерживает четыре типа политики:

• Политика разделяемых ресурсов (share based policy). Администратор вычислительного комплекса задает уровень ресурсов, доступных каждому пользователю (или рабочей группе) в процентах от общего их количества. Политика имеет некоторый запас гибкости, который допускает некоторый временный перерасход ресурсов для каждого пользователя, но при этом требует компенсировать этот перерасход впоследствии, "вернув" ресурсы в общее пользование в течение определенного времени. Если же пользователь недобирал ресурсов в течение какого-то времени, то ему "причитается" это количество вычислительной мощности, которое он может использовать в дальнейшей работе.

• Функциональная политика (functional policy). Эта политика аналогична политике разделяемых ресурсов, за тем исключением, что компенсация ресурсов за недоиспользование или переиспользование не производится.

• Политика "работа к сроку" (deadline policy). Бывают ситуации, когда одной из групп требуется завершить какую-то вычислительную работу к определенному сроку. Тогда администратор вычислительной сети может кратковременно выделить все имеющиеся ресурсы этой группе для завершения работы в срок. Действие такой политики прекращается немедленно после наступления заданной даты или по завершению выполнения задачи.

• Политика явного выделения ресурсов (override policy). Наконец, когда ситуация становится критической, администратор может перевести систему "на ручное управление", в явном виде выделяя то или иное количество ресурсов отдельным пользователям или рабочим группам.

Наличие политик несколько изменяет обычный алгоритм отправки задания на выполнение: теперь диспетчер заданий руководствуется не только наличием свободных ресурсов, но и тем, имеет ли данный пользователь соответствующие права.

На сегодняшний день GRID — это новая технология, которая может работать как в Internet, так и без него, то есть на сетях передачи данных, где не работают протоколы Internet.

Архитектура GRID — первое действительно революционное новшество в ИТ-индустрии за последние 40 лет с момента создания ЭВМ серии IBM 360.