Нужно уточнить на MPI

Question

Я изучаю различные модели параллельного программирования, и я просто наткнулся на MPI. Есть несколько вещей, о которых я не уверен. Из того, что я понимаю:

1. Основная функция MPI - обеспечить связь между связанными процессами, выполняющимися параллельно в кластере. Это верно? На главном узле запускаются программы
2. , которые, в свою очередь, связывают конкретные задачи с рабочими узлами и получают результаты. Нет необходимости в копировании кода на каждом рабочем узле.

Кроме того, несколько обновленных фреймворков MPI, которые я нашел, как представляется, поддерживают ограниченный набор языков. Я смотрел на эксперименты с этим на Java, но все библиотеки Java MPI, которые я нашел, были либо датированы, либо, похоже, не имели зрелости для C и Fortran. Почему это? Я думаю, что передача сообщений была бы очень полезной функцией для тех, кто пишет параллельную или распределенную программу, поэтому почему MPI не является более популярным за пределами своей ниши?

Answer 1

MPI традиционно является моделью SPMD, где один код работает на множестве процессов (обычно распределяется по нескольким узлам/процессорам/ядрам и т. Д.). Эти процессы явно передают сообщения, используя вызовы в MPI (Интерфейс передачи сообщений). Затем отдельные процессы могут уйти, чтобы выполнять свою работу и сообщать снова, когда это необходимо. Это не язык задач, где задания могут автоматически распределяться на рабочие узлы. Существуют и другие языки, которые делают такие вещи (Hadoop/MapReduce, Charm ++ и т. Д. Могут вписаться в эту модель).

В стандарте MPI (http://www.mpi-forum.org/docs/docs.html), который определен Форумом MPI, указаны конкретные требования к языку. До настоящего времени для реализации MPI было всего три языка: C, C++ и FORTRAN (и фактически требование C++ было удалено). Причина этого в том, что это языки, наиболее часто используемые научными приложениями, использующими MPI. Это не препятствует существованию других языковых привязок, но поддержка каждого языка является большой нагрузкой для реализаций и не всегда возможна. Есть много других языковых привязок в наличии:

• Python: http://mpi4py.scipy.org
• Java: http://www.open-mpi.org/faq/?category=java
• Perl: http://search.cpan.org/~josh/Parallel-MPI/MPI.pm
• C++: http://www.boost.org/doc/libs/1_54_0/doc/html/mpi.html

Я уверен, что есть больше, чем это там для некоторых более экзотических языков. Просто найдите MPI, и вы обязательно найдете информацию. MPI на самом деле довольно популярен, даже вне научного сообщества. Были попытки использовать его в сообществе видеоигр, распределенных базах данных и других. Тем не менее, научные вычисления по-прежнему являются одним из крупнейших пользователей MPI и остаются одним из основных направлений Форума.