Hadoop ПРЯЖА Cluster Performance Tuning

Question

Я хотел бы знать несколько параметров, чтобы ускорить работу Spark, на моей ПРЯЖЕ кластере.

У меня есть следующие конфигурации Spark/YARN на месте, но я не доволен скоростью выполнения. У меня много неиспользуемых ресурсов и памяти.

Свечи конфиги:

- spark.yarn.am.cores = 2 
- spark.executor.memory = 5g 
- spark.executor.cores = 8 

ПРЯЖИ конфиги:

- yarn.nodemanager.resource.memory-mb = 31744 
- yarn.nodemanager.resource.cpu-vcores = 15 
- yarn.scheduler.maximum-allocation-mb = 31744 

Из образа,

1. на узле 3 & 5, почему использование 6GB из 2gb.
2. памяти на узле 1,2,4,5,6 не используются на всех

Moreso, я хочу, чтобы иметь возможность раскрутить несколько контейнеров на каждом узле кластера.

Помогите оценить очень.

Answer 1

Добавление этой искры конф, сделал трюк:

spark.executor.instances = 6 

Answer 2

Чтобы улучшить Spark, Работа на нити, вы можете использовать следующие аргументы:

spark.executor.instances : он создает несколько исполнителей (фактически JVM), чтобы улучшить выполнение, например, drecute.

spark.executor.instances = 6 

spark.executor.cores: Кроме того, искра многопоточный-совместимый. Это означает, что для каждого исполнителя, который вы определили, искра может обрабатывать несколько действий одновременно над этим исполнителем. Вам использовать:

spark.executor.cores = $int 

кэширования в памяти: Наконец, можно кэшировать данные в памяти, чтобы улучшить выполняемые. Используя это, вы можете ожидать время задержки деления между 5 и 20 раз. Чтобы использовать этот режим, обратитесь к следующим аргументам:

spark.driver.memory 
spark.executor.memory 
spark.driver.memory 
spark.yarn.memoryOverhead 
spark.yarn.driver.memoryOverhead 

Вот учебник от Cloudera, который объясняет, как настроить искру рабочих мест и как кэшировать данные в памяти:

http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/