Примеры промышленых разработок
Кластерные решения компании ibm
В начале 2000 года IBM создала Linux-кластер из установленных в стойке серверов IBM xSeries, интегрировав их с соответствующими сетями, системами управления (аппаратное и программное обеспечение) и необходимыми услугами. После выпуска в 2001 году кластера 1300, IBM представила недавно кластер 1350 на процессорах Intel Xeon.
Схема системы и спецификации
Схема Linux-кластера или суперкластера — нетривиальна.
В ней имеется несколько логических слоев и уровень сложности растет при увеличении размера системы. Стоит отметить, что на больших системах простое воспроизведение в большом количестве малых кластеров почти никогда не приводит к успеху.
Диаграмма большого Linux-кластера.
Хотя число узлов, необходимых для решения задачи, довольно легко оценивается для любого приложения, требуемое число узлов в действительности оказывается больше из-за необходимости иметь сервисные узлы, обслуживающие инфраструктуру кластера. Так для каждых 32-64, в зависимости от компоновки, узлов необходим центральный узел. Если такой узел используется как вычислительный, у него должна быть соответствующая конфигурация.
В любой системе должен быть управляющий узел, который в частности может быть и одним из главных узлов. Для организации ввода/вывода так же необходимы отдельные узлы, которые работают либо с устройствами хранения информации, либо с сетевыми рутерами.
В кластере, как правило, присутствуют три функциональные сети:
Сеть межпроцессорных соединений (IPC). Её полоса подбирается в зависимости от выполняемых задач.
Сеть для операций ввода/вывода. Если имеется сеть IPC, то она может быть также сетью ввода/вывода.
Необходима также сеть для управления системами. Обычно это сеть 10/100 Ethernet, и она, как правило, строится иерархически, используя головные узлы, узлы управления и т.д., соединённые Ethernet-коммутаторами.
Система управления доступна администратору через терминальный сервер.
Аппаратное обеспечение
Основой Linux-кластера являются плотно упакованные системы с процессорами Intel, установленные в стойке. Наиболее часто используемым модулем является стандартная 19" стойка. Внутри стоек устанавливаются узлы, аппаратура для эффективного соединения компонент, такая как коммутаторы или хабы, аппаратура управления внутренней сетью системы, терминальные серверы и т.п.
Узлы могут быть функционально сгруппированы в две категории:
Вычислительные узлы, выполняющие основные вычислительные задачи, для которых спроектирована система.
Узлы инфраструктуры, такие как узлы ввода-вывода, узлы управления и узлы запоминающих устройств. Узлы инфраструктуры обеспечивают управление системами и заданными функциями, необходимыми для объединения компьютерных узлов в систему.
Модель 345 для узлов памяти и управления. |
Модель 335 для кластерных узлов. |
Упаковка вычислительных узлов должна быть плотной, насколько это возможно, и иметь достаточные возможности для эффективного соединения компонент. Существенно включение сервисного процессора для функций управления системами.
Стандартным вычислительным узлом для кластера 1350 является IBM xSeries 335. Это позволяет одному или двум процессорам Intel Pentium 4 (Xeon) с быстрой динамической памятью и диском размещаться в стандартном корпусе размером "1U". Символ 1U обозначает 1,75 дюймов высоты в стандартном 19-и дюймовом корпусе. Х335 имеет встроенный сервисный процессор и два слота для соединения с другими компонентами системами.
Головные узлы, узлы управления и узлы запоминающих устройств обеспечивают особые функции для управления кластером (как обеспечение загрузки, управление устройствами, внешний ввод/вывод и т.д). Сервер 2U IBM xSeries 345, основанный на процессорах Xeon, в кластере1350 используется как узел управления и хранения данных и может быть также использован как вычислительный узел. Коммутаторы используются для межпроцессорного соединения в параллельном программировании и для различных функций управления.
Для параллельного программирования в качестве межпроцессорного соединения обычно используется коммутатор Myrinet фирмы Myricom. Пропускная способность канала составляет приблизительно 200 Мбайт/с в каждом направлении со временем задержки 6-8 мкс.
Если параллельное программное окружение требует меньше межпроцессорных соединений, то высокоскоростные соединения можно заменить на более дешёвые продукты типа Ethernet. Для заказчика могут быть выбраны GigaNet, Quadratics, SCI или ServerNet. В дальнейшем, после доработки, может быть выбран InfiniBand.
Коммутаторы используются для построения внутренних сетей для систем управления и интерфейса внешних сетей. В качестве альтернативных решений заказчику предлагаются различные коммутаторы от Cisco.
Терминальные серверы обеспечивают удалённый доступ к консолям ОС узлов через последовательную сеть. Дополнительные функциональные возможности добавляются посредством клавиатуры, мыши, монитора.
Внешние устройства ввода/вывода, такие как SCSI Raid, должны быть в стойках с узлами, коммутаторами и т.д.
Основное отличие состоит в сборке (интеграции). В то время как кластер для заказчиков может быть собран в любом учреждении или даже на полу заказчика (плохая идея), то аппаратная часть кластера 1350 производится (т.е. интегрируется) и тестируется на заводе IBM. Процесс сборки кластера в заводских условиях обладает рядом преимуществ и предпочтителен перед сборкой у заказчика.
Пример конфигурации кластера 1350.
Класс |
Число узлов кластера |
Скорость процессора, ГГц |
Память системы, Гбайт |
Внутренняя память, Гбайт |
Соединение кластера, Мбит/с |
Начальный |
8 |
2,0 |
0,512 |
18 |
10/100 Ethernet |
Средний |
32 |
2,4 |
1 |
18 |
10/100 Ethernet |
Профессиональный |
128 |
2,8 |
1 |
36 |
Gigabit Ethernet |
Высокопроизводительный |
64 |
2,8 |
1 |
36 |
Myrinet-2000 |