5. Кластерные архитектуры

Один из первых архитекторов кластерной технологии Грегори Пфистер (Gregory F. Pfister) дал кластеру следующее определение: «Кластер - это разновидность параллельной или распределенной системы, которая:

- состоит из нескольких связанных между собой компьютеров;

- используется как единый, унифицированный компьютерный ресурс».

Иными словами, кластер компьютеров представляет собой несколько объединенных компьютеров, управляемых и используемых как единое целое. Они называются узлами и могут быть одно- или мультипроцессорными. В классической схеме при работе с приложениями все узлы разделяют внешнюю память на массиве жестких дисков, используя внутренние дисковые накопители для специальных функций (например, системных).

Обычно различают следующие основные виды кластеров:

- отказоустойчивые кластеры (High-availability clusters, HA)

- кластеры с балансировкой нагрузки (Load balancing clusters)

- высокопроизводительные кластеры (High-performance clusters, HPC)

Кластеры балансировки нагрузки

Кластер балансировки нагрузки работает таким образом, что весь приходящий трафик проходит через один или несколько первичных узлов, которые далее перенаправляют информацию к основным узлам кластера. Хотя они сконструированы с учётом высокой производительности, они обычно включат в себя и методы высокой доступности. Такой кластер обычно называют серверной фермой.

Кластеры высокой доступности

Обозначаются аббревиатурой HA (англ. High Availability — высокая доступность). Создаются для обеспечения высокой доступности сервиса, предоставляемого кластером. Избыточное число узлов, входящих в кластер, гарантирует предоставление сервиса в случае отказа одного или нескольких серверов. Типичное число узлов — два, это минимальное количество, приводящее к повышению доступности. Создано множество программных решений для построения такого рода кластеров. В частности, для GNU/Linux, FreeBSD и Solaris существует проект бесплатного ПО Linux-HA.

Кластеры распределения нагрузки

Принцип их действия строится на распределении запросов через один или несколько входных узлов, которые перенаправляют их на обработку в остальные, вычислительные узлы. Первоначальная цель такого кластера — производительность, однако, в них часто используются также и методы, повышающие надежность. Подобные конструкции называются серверными фермами. Программное обеспечение (ПО) может быть как коммерческим (Platform LSF HPC, Sun Grid Engine, Moab Cluster Suite, Maui Cluster Scheduler), так и бесплатным (Linux Virtual Server).

Кластеры повышенной производительности

Обозначаются англ. аббревиатурой HPC (High performance cluster). Позволяют увеличить скорость расчетов, разбивая задание на параллельно выполняющиеся потоки. Используются в научных исследованиях. Одна из типичных конфигураций - набор серверов с установленной на них операционной системой Linux, такую схему принято называть кластером Beowulf. Для HPC создается специальное ПО, способное эффективно распараллеливать задачу.

Системы для распределенных вычислений

Такие системы не принято считать кластерами, но их принципы в значительной степени сходны с кластерной технологией. Их также называют grid-системами. Главное отличие — низкая доступность каждого узла, т.е. невозможность гарантировать его работу в заданный момент времени (узлы подключаются и отключаются в процессе работы), поэтому задача должна быть разбита на ряд независимых друг от друга процессов. Такая система, в отличие от кластеров, не похожа на единый компьютер, а служит упрощенным средством распараллеливания вычислений.

Самые производительные

Дважды в год организацией TOP500 (http://www.top500.org/lists) публикуется список 500 самых производительных вычислительных систем в мире, среди которых всегда оказываются и кластеры.

Согласно рейтингу (ноябрь 2007 г.) самый быстрый кластер, собранный на стандартной платформе Hewlett-Packard Cluster Platform 3000 BL460c (4-место в общем рейтинге, производительность - 117.9 TFlop/s). Cluster Platform 3000BL — кластерная платформа на базе блейд-серверов BL460c и BL480c на базе двухъядерных процессоров Intel® Xeon® серии 5100. Используемые сетевые коммуникации - встроенные коммутаторы Gigabit Ethernet или Infiniband.

Подавляющее большинство самых быстродействующих компьютерных систем IBM (183 системы) представляют собой кластерные конфигурации на базе серийных микропроцессов, что также считается рекордом рейтинга TOP500.

Кластеры HP могут функционировать под управлением различных операционных систем: Linux®, HP-UX, Windows®, в зависимости от стоящих задач и используемых приложений. Для функционирования кластера необходима кластерная среда, включающая реализацию библиотек для обмена сообщениями (MPI, OpenMP), библиотеки математических функций (BLAS, Lapack), компиляторы и профайлеры, необходимые для разработки параллельных приложений, а также средства, позволяющие осуществлять мониторинг работы кластера, управление задачами. Для использования в качестве таких сред HP предлагает полностью интегрированные и готовые к применению решения:

• XC Software System — интегрированный пакет средств управления кластерной средой на основе ОС Linux®, работающий на всех видах кластерных платформ и включающий в себя все необходимые средства для реализации решения HPC.

• HP-UX Cluster Pack — интегрированный пакет средств разработки и управления кластером для ОС HP-UX.

Кроме интегрированных кластерных сред, HP предлагает программные продукты для решения отдельных задач в рамках кластерной системы, такие как:

• HPMPI — библиотека MPI, поддерживающая все основные ОС (Windows®, Linux®, HP-UX) и реализующая функции надежного и производительного обмена данными между узлами через кластерный интерконнект;

• CMU (Cluster Management Utility) — простое и универсальное средство развертывания, управления и мониторинга кластерной системы.

Кроме того, в качестве кластерного ПО может использоваться набор программных средств HPC Partner Software Suite (компиляторы, библиотеки, MPI, средства управления) сообщества open source и компаний-партнеров, таких, как Scali, PathScale, PolyServe и др. Они предназначены для построения кластерных систем на основе серверов HP ProLiant (CP3000, CP4000) и операционных систем Linux® и Windows®.

В состав Unified Cluster Portfolio входят также масштабируемые решения, позволяющие организовать хранение данных, с которыми работает кластер, и обеспечить высокую скорость доступа к этим данным. Среди таких решений можно выделить:

• HP SFS - Scalable File Share — интегрированная система хранения информации, построенная на базе параллельной файловой системы Lustre. Представляет собой набор Smart Cell - ячеек хранения, работающих параллельно и соединяющихся с вычислительными узлами кластера с

использованием высокопроизводительного интерконнекта (GE, Quadrics, Myrinet, Infiniband). В качестве аппаратной базы используются серверы HP ProLiant и системы хранения SFS20 или EVA.

• HP Enterprise File Services Clustered Gateway - решение, предоставляющее доступ к разделяемым данным с использованием протокола NFS и реализованное кластером серверов HP ProLiant с полностью симметричной кластерной файловой системой, поддерживающей возможности балансировки нагрузки между узлами.