Запуск двух версий Apache Spark в режиме кластера

Question

Я хочу иметь возможность запускать Spark 2.0 и Spark 1.6.1 в режиме кластера на одном кластере, чтобы иметь возможность обмениваться ресурсами, каковы наилучшие методы для этого? это потому, что я хочу иметь возможность защищать определенный набор приложений от изменений кода, которые полагаются на версии 1.6.1 и другие на Spark 2.0.

В основном кластер может полагаться на динамическое распределение для Spark 2.0, но, возможно, не для 1.6.1 - это гибкое.

Answer 1

Используя Docker, вы можете запустить различную версию приложения Spark, поскольку Docker запускает приложение в изоляции.

Docker - открытая платформа для разработки, доставки и запуска приложений. , С Docker вы можете отделить свои приложения от своей инфраструктуры и обработать вашу инфраструктуру как управляемое приложение.

Industries принимают Docker, поскольку он обеспечивает эту гибкость для выполнения различных версии приложения в одной скорлупе ореха и многие другие

Mesos также позволяет запускать Docker контейнеры с использованием Marathon

Для получения дополнительной информации, пожалуйста, обратитесь https://www.docker.com/ https://mesosphere.github.io/marathon/docs/native-docker.html

Надеется, что это помогает !!! ....