Есть ли способ ограничить запуск мастера приложения на определенных узлах?

Question

У меня есть настройка кластера с узлами, которые не являются надежными и могут опускаться (они являются экземплярами aws spot). Я пытаюсь удостовериться, что мой мастер приложений запускается только на надежных узлах (aws по требованию экземпляров) кластера. Есть ли обходной путь для того же? Мой кластер управляется hortonworks ambari.

Answer 1

Этого можно достичь с помощью меток узлов. Я смог использовать свойство в искровом искра spark.yarn.am.nodeLabelExpression, чтобы ограничить мой мастер приложений множеством узлов при запуске искры на пряжу. Добавьте метки узлов в зависимости от того, какие узлы вы хотите использовать для мастеров приложений.