Недостаток памяти в SMP Parallelism

Question

На нескольких языках (в основном D и Java/Jython) Я заметил, что параллельные программы без очевидного узкого места синхронизации часто плохо масштабируются до 4 или более ядер из-за узких мест управления памятью. Я знаю, что локальные распределители потоков устраняют эту проблему, но большинство реализаций сборщиков мусора по-прежнему необходимо остановить мир. Сбор мусора не смущает параллель (общее состояние должно быть обновлено слишком часто), поэтому использование параллельного коллектора не полностью решает проблему. В случае ручного управления памятью, даже если распределения в основном связаны с локальным распределителем потоков, память все же должна быть освобождена, возможно, из другого потока, кроме того, в котором она была выделена.

Есть ли какой-либо язык/runtime/malloc, для которой узкое место управления памятью для SMP-параллелизма является для всех практических целей решаемой проблемой, но при этом позволяет использовать многопоточность традиционного общего адресного пространства?

Answer 1

No.

То, что вы описали, как узкое место управления памятью является неотъемлемой чертой, хотя и не желательно один, компьютеров SMP. Рано или поздно требования процессоров для доступа к памяти будут перегружать шину памяти, и обработка замедляется или, в лучшем случае, останавливается быстрее, с добавлением большего количества процессоров.

Я удивлен, что вы обычно сталкиваетесь с этой проблемой только на 4 ядрах, в прошлом я использовал машины SGI Altix, на которых некоторые из моих кодов будут масштабироваться до 256 ядер. Но будет ли ваш код попадать в узкое место на 4 ядра или шахту на 256 или другой код на 2048 (если вы можете найти 2048-ядерный SMP), всегда будет узкое место.

Answer 2

Одно усовершенствование на многопроцессорной системе будет NUMA известно Распределитель/коллектор, который Java уже, кажется, есть: http://download-llnw.oracle.com/javase/7/docs/technotes/guides/vm/performance-enhancements-7.html#numa