Я ищу что-то, что позволит легко запустить (правильно закодированный) смущающий параллельный JVM-код на кластере (чтобы я мог использовать Clojure + Incanter).JVM (неловко) библиотеки/инструменты параллельной обработки
Я использовал Parallel Python в прошлом, чтобы сделать это. У нас есть новый кластер PBS, и наш администратор скоро настроит IPython-узлы, которые используют PBS в качестве бэкэнд. Обе эти системы практически не требуют запуска определенных типов кода в кластере.
Я ошибся с использованием Hadoop в прошлом (Hadoop просто не подходит для тех данных, которые я использую) - латентность, сделанная даже малыми запусками, выполняется в течение 1-2 минут.
Является ли JPPF или Gridgain лучше для того, что мне нужно? У кого-нибудь есть опыт? Есть ли что-нибудь еще, что вы можете порекомендовать?
Выглядит многообещающе, но GPL - это боль в заднице. –