Программирование для многопроцессорных систем в стандарте MPI - Шпаковский Г.И., Серикова Н.В

MPI_COMM_RANK(comm, rank)

int MPI_Comm_rank(MPI_Comm comm, int *rank)

MPI_COMM_RANK(COMM, RANK, IERROR) INTEGER COMM, RANK, IERROR

int MPI::Comm::Get_rank() const

Функция MPI_COMM_RANK возвращает номер процесса в частной группе коммуникатора. Ее удобно использовать cовместно с

MPI_COMM_SIZE.

MPI_COMM_COMPARE(comm1, comm2, result)

int MPI_Comm_compare(MPI_Comm comm1,MPI_Comm comm2, int *result)

MPI_COMM_COMPARE(COMM1, COMM2, RESULT, IERROR) INTEGER COMM1, COMM2, RESULT, IERROR

static inc MPI::Comm::Compare(const MPI::Comm& comm1, const MPI::Comm& comm2)

Результат MPI_IDENT появляется тогда и только тогда, когда comm1 и comm2 являются дескрипторами для одного и того же объекта. Результат MPI_CONGRUENT появляется, если исходные группы идентичны по компонентам и нумерации; эти коммуникаторы отличаются только контекстом. Результат MPI_SIMILAR имеет место, если члены группы обоих коммуникаторов являются одинаковыми, но порядок их нумерации различен. В противном случае выдается ре-

зультат MPI_UNEQUAL.

5.4.2. Конструкторы коммуникаторов

Нижеперечисленные функции являются коллективными и вызываются всеми процессами в группе, связанной с comm. В MPI для создания нового коммуникатора необходим исходный коммуникатор. Основным коммуникатором для всех MPI коммуникаторов является коммуникатор MPI_COMM_WORLD.

151

Функция MPI_COMM_DUP дублирует существующий коммуникатор comm, возвращает в аргументе newcomm новый коммуникатор с той же группой.

MPI_COMM_DUP(comm, newcomm)

int MPI_Comm_dup(MPI_Comm comm, MPI_Comm *newcomm)

MPI_COMM_DUP(COMM, NEWCOMM, IERROR) INTEGER COMM, NEWCOMM, IERROR

MPI::Intracomm MPI::Intracomm::Dup() const

MPI_COMM_CREATE(comm, group, newcomm)

int MPI_Comm_create(MPI_Comm comm, MPI_Group group, MPI_Comm *newcomm)

MPI_COMM_CREATE(COMM, GROUP, NEWCOMM, IERROR) INTEGER COMM, GROUP, NEWCOMM, IERROR

MPI::Intracomm MPI::Intracomm::Create(const MPI::Group& croup) const

Эта функция создает новый коммуникатор newcomm с коммуникационной группой, определенной аргументом group и новым контекстом. Из comm в newcomm не передается никакой кэшированной информации. Функция возвращает MPI_COMM_NULL для процессов, не входящих в group. Запрос неверен, если не все аргументы в group имеют одинаковое значение или если group не является подмножеством группы, связанной с comm. Заметим, что запрос должен быть выполнен всеми процессами в comm, даже если они не принадлежат новой группе.

MPI_COMM_SPLIT(comm, color, key, newcomm)

int MPI_Comm_split(MPI_Comm comm, int color, int key, MPI_Comm *newcomm)

152

MPI_COMM_SPLIT(COMM, COLOR, KEY, NEWCOMM, IERROR) INTEGER COMM, COLOR, KEY, NEWCOMM, IERROR

MPI::Intracomm MPI::Intracomm::Split(int color, int key) const

Эта функция делит группу, связанную с comm, на непересекающиеся подгруппы по одной для каждого значения color. Каждая подгруппа содержит все процессы одного цвета. В пределах каждой подгруппы процессы пронумерованы в порядке, определенном значением аргумента key, со связями, разделенными согласно их номеру в старой группе.

Для каждой подгруппы создается новый коммуникатор и возвращается в аргументе newcomm. Процесс может иметь значение цвета MPI_UNDEFINED, тогда переменная newcomm возвращает значение MPI_COMM_NULL. Это коллективная операция, но каждому процессу разрешается иметь различные значения для color и key.

Обращение к MPI_COMM_CREATE (сomm, group, newcomm) эквивалентно обращению к MPI_COMM_SPLIT (comm, color, key, newcomm), где все члены group имеют color =0 и key = номеру в group, и все процессы, которые не являются членами group, имеют color = MPI_UNDEFINED.

Функция MPI_COMM_SPLIT допускает более общее разделение группы на одну или несколько подгрупп с необязательным переупорядочением. Этот запрос используют только интра-коммуникаторы. Значение color должно быть неотрицательно.

5.4.3. Деструкторы коммуникаторов

MPI_COMM_FREE(comm)

INOUT comm удаляемый коммуникатор (handle) int MPI_Comm_free(MPI_Comm *comm)

MPI_COMM_FREE(COMM, IERROR) INTEGER COMM, IERROR

void MPI::Comm:Free()

Эта коллективная операция маркирует коммуникационный объект для удаления. Дескриптор устанавливается в MPI_COMM_NULL. Любые ждущие операции, которые используют этот коммуникатор, будут завершаться нормально; объект фактически удаляется только в том случае, если не имеется никаких других активных ссылок на него.

153

5.5. ПРИМЕРЫ

Пример 5.1.

main(int argc, char **argv)

{

int me, count, count2;

void *send_buf, *recv_buf, *send_buf2, *recv_buf2; MPI_Group MPI_GROUP_WORLD, grprem; MPI_Comm commslave;

static int ranks[ ] = {0};

MPI_Init(&argc, &argv); MPI_Comm_group(MPI_COMM_WORLD,&MPI_GROUP_WORLD); MPI_Comm_rank(MPI_COMM_WORLD, &me);

/* локально */ MPI_Group_excl(MPI_GROUP_WORLD, 1, ranks, &grprem); /* локально */

MPI_Comm_create(MPI_COMM_WORLD, grprem, &commslave);

/* вычисления на подчиненном процессе */ MPI_Reduce(send_buf,recv_buff,count, MPI_INT,

MPI_SUM, 1, commslave);

}

/* процесс 0 останавливается немедленно после выполнения этого reduce, другие процессы – позже... */

MPI_Reduce(send_buf2, recv_buff2, count2, MPI_INT, MPI_SUM, 0, MPI_COMM_WORLD);

MPI_Comm_free(&commslave); MPI_Group_free(&MPI_GROUP_WORLD); MPI_Group_free(&grprem); MPI_Finalize();

}

Этот пример иллюстрирует, как из исходной группы создается группа, содержащая все процессы, кроме процесса 0, затем, как формируется коммуникатор (commslave) для новой группы. Новый коммуникатор используется в коллективном обмене, и все процессы выполняются в контексте MPI_COMM_WORLD. Пример иллюстрирует, как два коммуникатора (которые обязательно имеют различные контексты) защищают обмен. Это означает, что обмен в commslave изолирован от обмена в MPI_COMM_WORLD, и наоборот.

154

Пример 5.2. Следующий пример иллюстрирует "безопасное" выполнение парного и коллективного обменов в одном коммуникаторе.

#define TAG_ARBITRARY 12345 #define SOME_COUNT 50 main(int argc, char **argv)

{ int me;

MPI_Request request[2]; MPI_Status status[2];

MPI_Group MPI_GROUP_WORLD, subgroup; int ranks[] = {2, 4, 6, 8};

MPI_Comm the_comm; MPI_Init(&argc, &argv);

MPI_Comm_group(MPI_COMM_WORLD,&MPI_GROUP_WORLD); MPI_Group_incl(MPI_GROUP_WORLD,4,ranks, &subgroup);

/*локально */ MPI_Group_rank(subgroup, &me); /* локально */ MPI_Comm_create(MPI_COMM_WORLD, subgroup, &the_comm);

/* парный обмен */

if(me != MPI_UNDEFINED) {

MPI_Irecv(buff1, count, MPI_DOUBLE, MPI_ANY_SOURCE,

for(i = 0; i < SOME_COUNT, i++) MPI_Reduce(..., the_comm);

MPI_Waitall(2, request, status); MPI_Comm_free(t&he_comm); MPI_Group_free(&MPI_GROUP_WORLD); MPI_Group_free(&subgroup); MPI_Finalize();

}

КОНТРОЛЬНЫЕ ВОПРОСЫ И ЗАДАНИЯ К ГЛАВЕ 5

Контрольные вопросы к 5.1

1.Какие преимущества получает пользователь, использующий параллельные библиотеки?

2.Перечислите проблемы при написании параллельных библиотек.

3.Какие специфические структуры введены в MPI, необходимые для создания и использования параллельных библиотек?

4.В чем различие между группой процессов и коммуникатором?

5.Могут ли общаться процессы, принадлежащие разным коммуникаторам?

6.Что такое виртуальная топология?

155

Контрольные вопросы к 5.2

1.Можно ли ввести собственную нумерацию процессов в группе, например: 2,4,6,8,…?

2.Какая предопределенная константа является группой без членов?

3.В какой момент выполнения приложения определяется начальный коммуни-

катор MPI_COMM_WORLD?

4.MPI_COMM_WORLD является интер или интра-коммуникатором?

5.Можно ли удалить коммуникатор MPI_COMM_WORLD в течение времени существования процесса?

Контрольные вопросы к 5.3

1.Функции управления группой являются локальными или коллективными?

2.Что возвращает функция MPI_Group_rank, если процесс, в котором производится вызов этой функции, не является членом этой группы?

3.Как определить номер процесса в группе, зная его номер в группе, соответствующей коммуникатору MPI_COMM_WORLD?

4.Перечислите три возможных варианта результата, которые можно получить после вызова функции MPI_Group_compare.

5.Функции-конструкторы групп являются локальными?

6.Что такое базовая группа? Приведите пример базовой группы.

7.Можно ли определить в каждом процессе приложения собственную группу процессов?

8.Какая функция позволяет определить группу какого-либо коммуникатора?

9.Можно ли определить группу, которая не включает в себя процесс, ее создающий?

10.Перечислите операции над группами процессов, определенные для создания новой группы.

Контрольные вопросы к 5.4

1.Можно ли изменить число процессов приложения после инициализации

MPI?

2.Могут ли быть строго вложенными множества процессов, определяющие различные коммуникаторы?

3.Должны ли быть непересекающимися множества процессов, определяющие различные коммуникаторы?

4.Должны ли множества процессов, определяющие различные коммуникаторы, состоять более чем из одного процесса?

5.Определены ли в каждой программе множества процессов, задающие различные коммуникаторы в количестве большем, чем 2?

6.Функции доступа к коммуникаторам локальные или коллективные?

7.В чем сходство и различие использования функций MPI_Group_size и MPI_Comm_size, MPI_Group_rank и MPI_Com_rank, MPI_Group_compare и MPI_Com_compare?

8.Функции создания коммуникаторов локальные или коллективные?

9.Какой коммуникатор создает MPI_Comm_dup?

156

10.Какой коммуникатор создает функция MPI_Comm_create, если она вызывается в процессе, не входящем в коммуникационную группу?

11.Сколько коммуникаторов создает MPI_Comm_split?

Контрольные вопросы к 5.5

1.В каком процессе находится результат коллективной операции MPI_Reduce в примере 5.1, которая выполняется в новом коммуникаторе commslave?

2. Объясните необходимость использования проверки me!=MPI_UNDEFINED

в примере 5.2. В каком случае процесс получает номер MPI_UNDEFINED?

3.Сколько процессов и какие входят в коммуникатор the_comm в примере 5.2?

4.Для какой цели в примере 5.2 приведен цикл, в котором MPI_Reduce повторяется много раз?

5.По какой схеме осуществляется обмен данными в примере 5.2?

Задания для самостоятельной работы

5.1. Организуйте передачу данных внутри коммуникатора, который создан на основании группы, созданной из произвольного числа процессов, заданных пользователем. Например, если 10 процессов в MPI_COMM_WORLD, то создайте группу из 2,3,6,8,9 процессов.

5.2. Постройте ввод-вывод по принципу master/slave. Главный процесс должен принимать сообщения от подчиненных и печатать их в порядке нумерации (сначала 0, затем 1 и так далее). Подчиненные должны посылать каждый по 2 сообщения мастеру. Например, сообщения:

Hello from slave 3

Goodbye from slave 3

(с соответствующими сообщениями для каждого подчиненного процесса). Для решения разделите процессы из MPI_COMM_WORLD на два коммуникатора: один процесс в качестве главного и остальные процессы – подчиненные. Используйте новый коммуникатор для подчиненных процессов для того, чтобы получить номер подчиненного процесса в его коммуникаторе. Подчиненные процессы могут также выполнять любые вычисления.

5.3. Выполните задание 5.2, изменив код мастера, чтобы он позволял принимать три типа сообщений от подчиненных процессов: упорядоченный вывод (такой же, как и в примере 1); неупорядоченный вывод (как если бы каждый подчиненный процесс печатал непосредственно); сообщение о выходе. Мастер продолжает получать сообщения до тех пор, пока он не получит сообщения о выходе от всех подчиненных процессов. Для простоты программирования пусть каждый подчиненный процесс посылает сообщения:

Hello from slave 3

Goodbye from slave 3 в упорядоченном выходном режиме и I'm exiting (3) в неупорядоченном режиме.

5.4. Напишите программу вычисления числа π методом Монте-Карло. Суть метода в следующем. Если радиус круга равен 1, тогда площадь круга равна π, а площадь квадрата вокруг круга равна 4. Следовательно, отношение площади кру-

157

га к площади квадрата равно π/4. Если теперь случайным образом генерировать точки в пределах контура квадрата, то отношение числа точек, попавших в круг, к общему количеству сгенерированных точек даст величину π/4. Сгенерированная точка находится в круге, если ее координаты соответствуют выражению x2+ y2<1. Для генерации случайных чисел создайте отдельный процесс, который будет рассылать эти числа другим процессам. Поскольку другие процессы должны будут выполнить коллективные операции, в которых не участвует этот процесс, необходимо определить коммуникатор, чья группа не включает генерацию случайных чисел.

5.5.Пусть имеем n процессов, где n – произвольно. Создайте два коммуникатора: отдельно из процессов с четными и нечетными номерами. Осуществите передачу данных по кольцу внутри каждого коммуникатора.

5.6.Пусть количество процессов n=l*m. Тогда процессы можно представить решеткой: l – строк и m столбцов. Создайте коммуникаторы для каждой строки и каждого столбца решетки. Осуществите передачу данных по кольцу внутри каждого коммуникатора.

Глава 6. ТОПОЛОГИИ ПРОЦЕССОВ

6.1. ВИРТУАЛЬНАЯ ТОПОЛОГИЯ

Топология является необязательным атрибутом, который дополняет систему интра-коммуникаторов и не применяется в интеркоммуникаторах. Топология обеспечивает удобный способ обозначения процессов в группе (внутри коммуникатора) и оказывает помощь исполнительной системе при размещении процессов в аппаратной среде. Во многих параллельных приложениях линейное распределение номеров не отражает в полной мере логической структуры обменов между процессами, которая зависит от структуры задачи и ее математического алгоритма. Часто процессы описываются в двух- и трехмерных топологических средах. Наиболее общим видом топологии является организация процессов, описываемая графовой структурой. В этой главе логическая организации процессов будет именоваться как “ виртуальная топология ”.

Следует различать виртуальную топологию процессов и физическую топологию процессов. Виртуальная топология должна применяться для назначения процессов физическим процессорам, если это позволит увеличить производительность обменов на данной машине. С другой стороны, описание виртуальной топологии зависит от конкретного приложения и является машинно-независимой.

158

Кроме возможности получить выгоду в производительности, виртуальная топология может быть использована как средство обозначения процессов, которое значительно улучшает читаемость программ.

Взаимосвязь процессов может быть представлена графом. Узлы такого графа представляют процессы, ребра соответствуют связям между процессами. Стандарт MPI предусматривает передачу сообщений между любой парой процессов в группе. Не обязательно указывать канал связи явно. Следовательно, отсутствие канала связи в графсхеме процессов не запрещает соответствующим процессам обмениваться сообщениями. Из этого следует, что такая связь в виртуальной топологии может отсутствовать, например, из-за того, что топология не представляет удобного способа обозначения этого канала обмена. Возможным следствием такого отсутствия может быть то, что автоматическая программа для размещения процессов по процессорам (если такая будет существовать) не будет учитывать эту связь, и уменьшится эффективность вычислений. Ребра в графе не взвешены, поэтому процесс может изображаться только подключенным или неподключенным.

Графовое представление топологии пригодно для всех приложений. Однако во многих приложениях графовая структура является регулярной и довольно простой, поэтому использование всех деталей графового представления будет неудобным и малоэффективным в использовании. Большая доля всех параллельных приложений использует топологию колец, двумерных массивов или массивов большей размерности. Эти структуры полностью определяются числом размерностей и количеством процессов для каждой координаты. Кроме того, отображение решеток и торов на аппаратуру обычно более простая задача, чем отображение сложных графов.

Координаты в декартовой системе нумеруются от 0. Например, соотношение между номером процесса в группе и координатами в решетке (2 × 2) для четырех процессов будет следующим:

Функции MPI_GRAPH_CREATE и MPI_CART_CREATE ис-

пользуются для создания универсальной (графовой) и декартовой топологий соответственно. Эти функции являются коллективными. Как

159

и для других коллективных обращений, программа для работы с топологией должна быть написана корректно, вне зависимости от того, являются ли обращения синхронизированными или нет.

Функции создания топологии используют в качестве входа существующий коммуникатор comm_old, который определяет множество процессов, для которых и создается топология.

Функция MPI_CART_CREATE может использоваться для описания декартовой системы произвольной размерности. Для каждой координаты она определяет, является ли структура процессов периодической или нет. Таким образом, никакой специальной поддержки для структур типа гиперкуб не нужно. Локальная вспомогательная функция MPI_DIMS_CREATE используется для вычисления сбалансированности процессов для заданного количества размерностей.

Функция MPI_TOPO_TEST может использоваться для запроса о топологии, связанной с коммуникатором. Информация о топологии может быть извлечена из коммуникаторов с помощью функций

MPI_GRAPHDIMS_GET и MPI_GRAPH_GET для графов и MPI_CARTDIM_GET и MPI_CART_GET – для декартовой топо-

логии. Дополнительные функции обеспечивают работу с декартовой

MPI_CART_SUB может использоваться для выделения декартова подпространства (аналогично функции MPI_COMM_SPLIT). Функция MPI_CART_SHIFT обеспечивает необходимую информацию для обмена между соседними процессами в декартовой системе коор-

динат. Две функции MPI_GRAPH_NEIGHBORS_COUNT и MPI_GRAPH_NEIGHBORS используются для выделения соседних процессов на топологической схеме. Функция MPI_CART_SUB является коллективной для группы входного коммуникатора, остальные функции локальные.

6.2. ТОПОЛОГИЧЕСКИЕ КОНСТРУКТОРЫ

6.2.1. Конструктор декартовой топологии

Функция MPI_CART_CREATE создает новый коммуникатор, к которому подключается топологическая информация.

Если reorder = false, то номер каждого процесса в новой группе идентичен номеру в старой группе. Иначе функция может переупорядочивать процессы (возможно, чтобы обеспечить хорошее наложение

160