Может ли Spark потоковое и Spark-приложения запускаться в одном кластере YARN?

Question

Привет, люди и с новым годом;)!

Я наращиваю лямбда-архитектуру с помощью Apache Spark, HDFS и Elastichsearch. В следующей картине, вот что я пытаюсь сделать:

До сих пор я написал исходный код Java для моих искровых потоковых и искровых приложений. Я прочитал в искровой документации, что искра может быть запущена в кластере Mesos или YARN. Как указано на картинке, у меня уже есть кластер хаопов. Возможно ли запустить искровое потоковое и искровое приложение в одном и том же кластере? Если да, есть ли какая-то конкретная конфигурация (например, количество узлов, ОЗУ ...). Или мне нужно добавить особенность кластера хаопов для искрообразования?

Я надеюсь, что мои разъяснения понятны.

Yassir

Answer 1

Вам не нужно создавать отдельный кластер для запуска искрообразования.

Изменить spark.master Недвижимость yarn-client или yarn-cluster в conf/spark-defaults.conf файл. Если указано так, представленное искровое приложение будет обрабатываться ApplicationMaster из YARN и будет выполнено NodeManagers.

Дополнительно модифицировать эти свойства ядер и памяти для выравнивания Спарка с пряжей.

В spark-defaults.conf

spark.executors.memory 
spark.executors.cores 
spark.executors.instances 

В yarn-site.xml

yarn.nodemanager.resource.memory-mb 
yarn.nodemanager.resource.cpu-vcores 

Else это может привести либо к тупиковой или ненадлежащего использования ресурсов кластера.

См. here для управления ресурсами кластера при работе Spark on Пряжа.

Answer 2

Возможно. Вы отправляете свои потоковые и пакетные приложения в один кластер пряжи. Но совместное использование кластерных ресурсов между этими двумя заданиями может быть немного сложным (согласно моему пониманию).

Поэтому я предлагаю вам посмотреть Spark Jobserver, чтобы отправить заявку. Spark-jobserver облегчает вашу жизнь, когда вы хотите поддерживать несколько контекстов искры. Все необходимые конфигурации для обоих приложений будут находиться в одном месте.