Кибернетическая картина мира

Операционные модули выполняют основную работу по обработке данных, реализации объектов математической памяти, процессов определения готовности и выполнения операторов программы на внутреннем языке. Коммуникационный модуль предназначен для реализации коммуникационной системы – установления логического соединения между модулями, обмена информацией между модулями, поиска в системе ресурсов запрошенного типа. Интерфейсные модули подключаются к внешним устройствам своими блоками ввода-вывода. Вопросы организации обмена информацией с внешним миром имеют большое значение для существенно многопроцессорных систем, оказывают значительное влияние на их фактические характеристики. Различные классы задач требуют различной интенсивности обмена с внешними устройствами. Вычислительная система должна обеспечивать построение таких ее конфигураций для каждого конкретного применения, которые бы обладали оптимальными для этого применения характеристиками по вводу-выводу. Система 3М обеспечивает инкрементное наращивание вычислительной мощности до любого необходимого значения путем подключения дополнительных блоков без внесения изменений в имеющуюся систему и ее ПО как на этапе разработки системы, так и в ходе ее эксплуатации. Методология проектирования и реализации системы 3М базируется на рассмотрении ВС как иерархии виртуальных машин. Система 3М имеет рекурсивно-организованную многоуровневую структуру. Рекурсивность структуры состоит в том, что структура всякой модификации системы задается рекурсивным определением. Развитие рекурсивной структуры осуществляется с помощью операции поляризации. Динамически меняющиеся в ходе вычислений виртуальные процессы требуют постоянной динамической реконфигурации связей между модулями. Сейчас реализуются системы, содержащие тысячи и миллионы процессоров.

4.2.3. Экспериментальная реализация вычислительных систем для динамических параллельных вычислений

Ниже рассматриваются экспериментальные образцы, разработанные с 1974 г.

Микропроцессорная рекурсивная вычислительная машина

(1979 г.).

221

Первой экспериментальной параллельной ВС на микропроцессорных СБИС был экспериментальный четырехпроцессорный образец рекурсивной ЭВМ (РВМ).

Экспериментальный образец РВМ включал 2 вычислительных модуля, один коммуникационный модуль и интерфейсный модуль (процессор ввода-вывода) (рис. 4.2). Построенный на секционных микропроцессорах, он показал принципиальную возможность создания модульных параллельных ВС с распределенной архитектурой, с организацией распределенных параллельных вычислений и при их эффективной поддержке в архитектуре, и структуре модулей параллельных ВС – вычислительных модулей, реализовывавших собственно вычисления и новые механизмы децентрализованного управления, коммуникационных модулей, аппаратномикропрограммно реализовывавших функции и протоколы коммуникационной системы для взаимодействия параллельных процессов, идущих в вычислительных модулях. Операторы внутреннего языка РВМ – языка высокого уровня – соответствовали среднегранулярным, микропрограммно реализованным процессам обработки информации. Управляющие операторы внутреннего языка реализовывали основные механизмы управления параллельными вычислениями на уровне сети таких операторов.

Модульная масштабируемая параллельная микропроцессорная ВС «Система 3М» (1982–1985 гг.).

По результатам испытаний экспериментального образца микропроцессорной ВС были организованы работы по разработке и созданию высокопроизводительных параллельных ЭВМ – рекурсивных. Работы проводились в сотрудничестве ИК и ЛИАП, с привлечением ряда промышленных организаций. В ИК создана большая макро-

Рис. 4.2. Структура ячейки экспериментального образца микропроцессорной РВМ: НГМД – накопитель на гибком магнитном диске; ИМ, КМ, ВМ – интерфейсный, коммуникационный и вычислительный модули соответственно

222

конвейерная ВС класса mainframe для вычислений большой разрядности (64–128 разрядов), с перспективами масштабирования на уровень суперкомпьютерных ВС. В ЛИАП разработана модульная масштабируемая параллельная ВС «Система 3М» на микропроцессорной элементной базе для решения задач с разрядностью 16–32 разряда.

Обе параллельные ВС воплощали совместно разработанный комплекс подходов к организации параллельных ВС с распределенной архитектурой, обменом сообщениями с коммутацией пакетов по высокоскоростным каналам внутрисистемной связи, децентрализованным управлением вычислительным процессом. Это позволило применить ряд разработанных нами подходов к асинхронному управлению параллельными вычислениями и в разработке программнойорганизациимакроконвейернойЭВМ.Втожевремякаждый проект характеризовался своими оригинальными архитектурными и структурными решениями в организации параллельной ВС

иее модулей, их системном программном обеспечении.

Впроекте «Система 3М» большое внимание уделялось модульности и масштабируемости системы. Общая структура проекта «Система 3М» приведена на рис. 4.3. Структура разработанной параллельной ВС включала 32 ВМ и 16 КМ. Модульная структура с рекурсивно определяемой топологией связи обеспечивала масштабирование параллельной ВС путем увеличения числа модулей при сохранении как структуры модулей, так и системного и прикладного ПО.

Рис. 4.3. Проект 32-процессорной микропроцессорной параллельной ВС «Система 3М»

223

Поддержка свойства масштабируемости в системных механизмах распределенной операционной системы (ОС) и КМ позволяет создавать на типовых узлах ограниченной номенклатуры программно-совместимые параллельные ВС с широким диапазо-

§ËÃÔÊ ÆǽȸÊÆȸ

¥

б)

Рис. 4.4. Структура (а) и общий вид (б) экспериментального образца параллельной ВС «Система 3М» (ЛИАП, 1982–1985)

224

ном характеристик по производительности, объему памяти и пропускной способности ввода-вывода (использовалось 3 типа модулей – ВМ, КМ и ИМ).

Былсозданэкспериментальныйобразец«Системы3М»(рис.4.4, а, б) разработано его системное ПО, проведен большой комплекс исследований и экспериментов по решению на нем прикладных задач различного класса.

Параллельная ВС на базе микроЭВМ «Электроника 81Б»

(1986–1988 гг.).

Развитие микропроцессорной техники, создание все более мощных микропроцессоров и достаточно производительных микропроцессорных узлов на их основе, освоение их серийного производства и применение для широкого круга задач поставили вопрос о создании параллельных ВС на основе серийно выпускаемых микропроцессорных модулей, в том числе для систем специального назначения.

При реализациях параллельных ВС на готовых микропроцессорных узлах (лет через десять этот подход получил название

COTS – Commercial Of The Shelf) функциям и свойствам ВМ уровня логической структуры на уровне физической структуры наиболее полно соответствует пара ВМ – ТКМ (терминальный коммуникационный модуль). Эта комбинация дает основу для реализации полного набора­ функций ВМ. ТКМ в таких системах подключается на системную (локальную) шину серийного микропроцессорного узла (Q-bus, VME, PCI) и занимает место коммуникационного контроллера (КК).

Параллельная ВС такого класса была разработана нами на основе микроЭВМ «Электроника 81Б», пригодных и для возимых, и для бортовых применений. На стандартную системную шину (Q-bus) в качестве КК подключается специальная, относительно несложная плата, реализующая высокоскоростной дуплексный внутрисистемный интерфейс параллельной ВС (рис. 4.5). Учитывая ограниченный диапазон масштабируемости для разрабатывавшихся параллельных ВС, а также целевые области применения, в данном проекте параллельной ВС (название РМВС – распределенная мультипроцессорная ВС), была принята линия на перенос сложности реализации внутрисистемных протоколов с КК ВМ на КМ. Для РМВС в качестве КМ был использован транспьютерный модуль РТ841. Аппаратно-микропрограммная реализация внутрисистемных протоколов нижнего уровня, доступный микропрограммный уровень

225

§ËÃÔÊ

Рис. 4.5. Параллельная ВС на базе серийных микроЭВМ «Электроника 81Б» (Э81Б – микроЭВМ «Электроника 81Б»)

испециализированные на логическую обработку параллельные блоки, при достаточно высокой тактовой частоте, позволили сбалансировать характеристики коммуникационной системы на базе такого ТКМ с максимальной пропускной способностью, которую могут обеспечить ВМ на базе «Электроника 81Б», в конфигурациях до 8 ВМ. Большие конфигурации (до 18 ВМ) комплексируются с использованием трех КМ, объединенных в полносвязанную структуру, где удельная пропускная способность (ПС) (пропускная способность на один ВМ) остается в том же диапазоне, что и для базовой мультипроцессорной конфигурации с одним ВМ. Для созданного в ЛИАП экспериментального образца РМВС (конфигурация с 8 ВМ

и1 КМ) была разработана распределенная ОС, система программирования на языке Си, система отладки с распределенным отладочным монитором (РОМ) [52, 53]. Операционная система РМВС послужила прообразом разработанной в 90-х гг. операционной системы НевОС. Опыт создания системы параллельного программирования для РМВС, ее применения для программирования достаточно больших программных комплексов послужили отправной точкой для постановки работ по системам визуального параллельного программирования, создания в последующие годы языка и системы программирования ВИЗА.

Параллельные ВС и проекты отечественных микропроцессоров архитектуры периода 1989–1992 гг.

226

Другая линия развития параллельных ВС, объединяющая разработку специальной структуры ВМ с использованием в качестве его ядра СБИС микропроцессора с фиксированной системой команд, была проработана для отечественных проектов 32-разряд- ных микропроцессоров новой архитектуры, разрабатывавшихся в конце 80 – начале 90-х гг. В качестве ядра ВМ были рассмотрены (совместно с НПО «Элас», Зеленоград) микропроцессор «Салют», разрабатывавшийся для бортовых вычислительных комплексов (ВК) перспективных космических аппаратов, и микропроцессор «Эль-90» – реализация архитектуры «Эльбрус» (совместно с ИТМиВТ). И в том, и в другом микропроцессорном наборе имелись возможности интеграции в структуру ядра ВМ специализированного КК и расширения базовой системы команд некоторой формой экстракодов. Структура ВМ на базе микропроцессора «Салют» приведена на рис. 4.6.

Учитывая вариант включения функций ТКМ в перечень прямо аппаратно-программно реализуемых в ВМ функций (с исключением ТКМ как самостоятельного­ компонента физической структуры) и, в духе транспьютерных технологий, можно считать такое «поглощение» ТКМ ВМ наиболее перспективным вариантом. Это позволило погрузить в архитектуру ВМ КК для внутрисистемных коммуникаций в параллельной ВС, реализовать алгоритмы КС с высокой эффективностью.

227

Параллельные ВС на транспьютерных технологиях (1992– 1994 гг.)

Развитие в мире транспьютерных технологий определило интерес отечественной промышленности к этому классу ВС и направление ряда наших проектов в области параллельных ВС. Проведенные исследования и эксперименты с транспьютерными модулями на основе транспьютеров Т805 показали преимущества глубокой интеграции механизмов управления процессами, мультипрограммного режима работы транспьютера как компонента параллельной ВС с распределенной архитектурой. В то же время были видны и преимущества наших подходов с инкапсулированием последовательных программ внутри процессов – целостных компонентов параллельной схемы программы, с более высоким уровнем сервиса коммуникационной системы (КС) и используемых в ней протоколов, развитых средств сегментации и управления памятью в архитектуре ВМ. Выводы наших исследований были подтверждены и практикой развития самих транспьютерных технологий, появлением нового поколения транспьютеров – Т9000. Т9000 развивал транспьютерные архитектуры именно в тех направлениях, которые указывались нами как ограничения семейства Т800, которые отличали наши архитектурные и структурные решения в указанных выше проектах. Хотя и в Т9000 мы не увидели полного набора искомых функциональных возможностей для системной поддержки динамических параллельных вычислений в параллельных ВС с распределенной архитектурой, в целом они давали хорошую основу для построения параллельных ВС. Недостающие механизмы реализовывались на них программно, в ядре ОС, с приемлемой эффективностью.

Был разработан проект параллельной ВС на транспьютерах для бортовых комплексов бортового оборудования перспективных самолетов (рис. 4.7).

Кластерная ВС на серийных высокопроизводительных системных блоках и сетевых средствах.

Разработан проект высокопроизводительной кластерной ВС, с масштабируемой конфигурацией, полностью на серийных технических средствах: системных блоках ПЭВМ, серийных сетевых контроллерах и коммутаторах, с диапазоном производительности от 10 до 100 Гфлоп, при стоимости порядка 0,3$ за 1 Мфлоп (300$ за 1 Гфлоп) (оценки по техническим характеристикам микропроцессоров на июнь 2001 г.). На рис. 4.8 и 4.9 представлены структуры 8- и 36-процессорных конфигураций кластерной ВС.

228

Рис. 4.7. Структура макета транспьютерной ВС на серийных транспьютерных модулях («гипертрамах»)

229

Рис. 4.8. Структура кластерной ВС на серийных системных блоках и сетевых средствах

Разработка параллельных кластерных ВС лежит в русле основных современных тенденций создания высокопроизводительных средств вычислительной техники (СВТ) широкого применения для решения современных сложных нерегулярных вычислительных задач [26]. С другой стороны, для нас это возврат, на новом этапе, к созданию параллельных ВС на основе серийно выпускаемых блоков вычислительной техники, который был нами апробирован в параллельной ВС на микроЭВМ «Электроника 81Б».

Однако отличие проекта кластерных ВС в том, что он строится с ориентацией на создание СВТ широкого применения, где, кроме показателя абсолютной производительности ВС, важное значение имеют технико-экономические характеристики, удельная стоимость достигаемой производительности. Это определяет отличия в подходах к проектированию кластерной ВС, ориентацию на максимальное использование серийных (за счет этого – дешевых) технических средств для реализации физического уровня параллельной ВС. Если в проекте параллельной ВС готовыми компонентами были микроЭВМ – основа ВМ параллельной ВС, а средства реализации коммуникационной системы были специально разработаны, то настоящий проект кластерной ВС использует готовые технические средства и в качестве основы построения КС. Средства реализации КС составляют существенную часть затрат на посторонние кластерные ВС. (Например, Томас Стерлинг оценивает приемлемый уровень расходов на КС кластерной системы в 25–30% от всех расходов на аппаратуру кластерной ВС [27].)

230