Другой вид, не противоречащий тому, что уже написал JJerry, заключается в том, что OpenMP предназначен для параллелизации разделяемой памяти, а MPI предназначен для параллелизации распределенной памяти. Эмуляция разделяемой памяти на распределенных системах редко убедительна или успешна, но вполне разумный подход к использованию MPI в системе с общей памятью.
Конечно, все (?) Многоядерные ПК и серверы являются системами общей памяти в наши дни, поэтому модель исполнения OpenMP широко применима. MPI имеет тенденцию входить в свои кластеры, на которых процессоры взаимодействуют друг с другом по сети (которая иногда называется межсоединением и часто имеет более высокую спецификацию, чем офисный Ethernet).
Что касается приложений, я бы оценил, что большая часть параллельных программ может быть успешно реализована с использованием OpenMP или MPI и что ваш выбор между ними, вероятно, лучше всего зависит от наличия аппаратного обеспечения. Большинство из нас (параллелистов) рассматривали OpenMP как более легкое для входа, чем MPI, и, конечно, (я утверждаю) проще поэтапно распараллеливать существующую программу с OpenMP, чем с MPI.
Однако, если вам нужно использовать больше процессоров, чем вы можете получить в одной коробке (и сколько процессоров, которые постоянно растут), то MPI - ваш лучший выбор. Вы можете также наткнуться на идею гибридного программирования - например, если у вас есть кластер многоядерных ПК, вы можете использовать MPI между ПК и OpenMP на ПК. Я не видел никаких доказательств того, что дополнительная сложность программирования вознаграждается улучшенной производительностью, и я видел некоторые доказательства того, что это определенно не стоит усилий.
И, как уже отмечалось в одном из комментариев, Fortran достаточно надежна для будущего в области параллельных, высокопроизводительных, научных и инженерных приложений. В последнем выпуске стандарта (2008) стандарта используются со-массивы (т.е. массивы, которые сами распределены по системе памяти с нелокальным и локальным доступом) прямо на язык. Есть даже одна или две ранние реализации этой функции. У меня пока нет опыта и ожидайте, что в течение нескольких лет будут проблемы с прорезями.
EDIT, чтобы поднять на несколько пунктов в комментариях Op в ...
Нет, я не думаю, что это плохая идея подойти параллельных вычислений с помощью OpenMP. Я думаю, что OpenMP и MPI (или, точнее, модели параллельных вычислений, которые они реализуют) дополняют друг друга. Я, конечно, пользуюсь обоими, и я подозреваю, что и большинство профессиональных параллельных программистов тоже. Я не делал много OpenMP с момента выхода из университета около 6 лет назад, примерно до 2 лет назад, когда мультикоры действительно начали появляться повсюду. Теперь я, вероятно, делаю примерно одинаковое количество обоих.
С точки зрения вашего дальнейшего (само) образования, я думаю, что книга Использование OpenMP Чапмен и др лучше, чем тот, по Chandra, если только потому, что она является гораздо более актуальной. Я думаю, что книга Chandra предваряет OpenMP 2, а книга Chapman предваряет OpenMP 3, которую стоит изучить.
На стороне MPI книги по Gropp др, Использование MPI и Использование MPI-2 являются обязательными; это, возможно, потому, что они (насколько я нашел) единственные вводные уроки для MPI, а не из-за их превосходства. Я не думаю, что они плохие, заметьте, но у них нет конкуренции. Мне нравится Параллельные научные вычисления в C++ и MPI от Karniadakis и Kirby; в зависимости от вашего уровня знаний в области научных вычислений, хотя вы можете найти слишком много материала.
Но что я думаю, что в поле не хватает целиком (надеюсь, что кто-то может доказать мне неправоту здесь?) - это хороший учебник (или несколько учебников) по разработке программ для параллельного выполнения, что-то, чтобы помочь опытному Fortran (в нашем case) программист делает переход от последовательного к параллельному дизайну программы. Много информации о том, как параллелизировать цикл или гнездо циклов, а не столько о параметрах для параллельных вычислений на структурированных положительных полуопределенных матрицах (или что-то еще). Для такого уровня информации нам приходится вникать в научные статьи (цифровые библиотеки ACM и IEEE стоят скромных годовых затрат - если вы в академическом учреждении, у вашей библиотеки, вероятно, есть подписки на них и многое другое, я «Мне повезло, что мои работодатели платят за членство в профессиональных обществах и надбавки, но если бы я этого не сделал, я бы заплатил за себя).
Что касается ваших планов по созданию новой лаборатории с, скажем, 24 процессорами (процессорами? Или ядрами?, На самом деле не имеет значения, просто спрашивайте), то ваш маршрут должен зависеть от глубины вашего кармана.Если вы можете себе это позволить, я бы предложил:
- Рассмотрите компьютер с общей памятью, конечно, год назад Sun, SGI и IBM могли поставлять систему с общей памятью с таким количеством ядер, я не уверен в текущем состоянии рынка, но так как у вас есть до февраля, чтобы решить, стоит ли заглядывать. Система с разделяемой памятью дает вам параметр параллелизма с разделяемой памятью, которого нет в кластере, а передача сообщений на платформе с общей памятью должна выполняться со скоростью света. (Кстати, если вы идете по этому маршруту, сравнивая этот аспект системы, на компьютерах с общей памятью были некоторые плохие реализации MPI.) Хорошая реализация MPI на компьютере с общей памятью (мой последний опыт в этом был 512-процессорный SGI Altix) не отправляет никаких сообщений, он просто перемещает несколько указателей и, следовательно, быстро растет. Проблема с Altix заключалась в том, что за 128 процессорами шина памяти, как правило, перегружалась всем трафиком; это было время переключиться на MPI на кластере или в поле MPP.
- Опять же, если вы можете себе это позволить, я бы рекомендовал, чтобы системный интегратор предоставил вам рабочую систему и не создавал кластер (или что-то еще). Если, как и я, вы сначала программист и второстепенный системный интегратор, это более простой подход и обеспечит вам рабочую систему, с которой вы можете начать программирование гораздо раньше.
Если вы не можете позволить себе дорогостоящие варианты, то я бы выбрал столько серверов в стойке с 4 или 8 ядрами в коробке (выбор зависит от цены, и, возможно, даже 16 ядер в коробке стоит рассмотреть сегодня), и сегодня я планирую иметь как минимум 4 ГБ оперативной памяти на одно ядро. Тогда вам нужно самое быстрое соединение, которое вы можете себе позволить; GB Ethernet прекрасен, но Infiniband (или другой, чье имя я забыл) является более тонким, хотя скачок цены заметен. И вам понадобится ПК, который будет выступать в качестве головного узла для вашего нового кластера, используя систему управления заданиями и другие вещи. В Интернете есть тонна отличного материала по созданию и запуску кластеров, часто под заголовком Беовульфа, что и было названием того, что считается первым «домашним» кластером.
Теперь, поскольку у вас есть до февраля, чтобы запустить вашу лабораторию, пожарите 2 своих коллег и превратите их компьютеры в мини-Беовульф. Загрузите и установите вероятную MPI-установку (OpenMPI хорош, но есть и другие, чтобы рассмотреть, и ваш o/s может диктовать другой выбор). Теперь вы можете начать готовиться, когда лаборатория готова.
PS Вам не нужно стрелять 2 человек, если вы можете убрать 2 ПК другим способом. И ПК могут быть старыми и неадекватными для использования на рабочем столе, они просто станут платформой для тренинга для вас и ваших коллег (если у вас есть все). Чем они почти идентичны, тем лучше.
Fortran не звучит «будущим» для меня ... – Andrey
Люди говорили, что с 80-х годов. Все еще здесь. Все еще важно для научного программирования и численных методов. – duffymo