Spark: Spark UI, не отражающий правильный счет исполнителя

Question

Мы работаем с искровым потоковым приложением, в котором хотим увеличить количество исполнителей, использующих искру ... так обновлено spark-default.conf увеличивается spark.executor. экземпляры от до но изменение не отражается в пользовательском интерфейсе

1 Master/Driver Node : 
    Memory :24GB Cores :8 

4 Worker Nodes : 
    Memory :24GB Cores :8 

spark.streaming.backpressure.enabled  true 
spark.streaming.stopGracefullyOnShutdown true 
spark.executor.instances     28 
spark.executor.memory     2560MB 
spark.executor.cores      4 
spark.driver.memory      3G 
spark.driver.cores      1 

Примечание: перезапустил искру start-master.sh и start-slaves.sh, но никаких изменений. Любая помощь в этом отношении будет принята с благодарностью. это является пряжей site.xml

<configuration> 

    <!-- Site specific YARN configuration properties --> 
    <property> 
     <name>yarn.nodemanager.aux-services</name> 
     <value>mapreduce_shuffle</value> 
    </property> 

    <property> 
     <name>yarn.resourcemanager.hostname</name> 
     <value>hdfs-name-node</value> 
    </property> 

    <property> 
     <name>yarn.nodemanager.resource.memory-mb</name> 
     <value>22528</value> 
    </property> 

    <property> 
     <name>yarn.nodemanager.resource.cpu-vcores</name> 
     <value>7</value> 
    </property> 

    <property> 
     <name>yarn.scheduler.maximum-allocation-mb</name> 
     <value>22528</value> 
    </property> 

    <property> 
     <name>yarn.nodemanager.local-dirs</name> 
     <value>file:///tmp/hadoop/data/nm-local-dir,file:///tmp/hadoop/data/nm-local-dir/filecache,file:///tmp/hadoop/data/nm-local-dir/usercache</value> 
    </property> 

    <property> 
     <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name> 
     <value>500</value> 
    </property> 

    <property> 
     <name>yarn.nodemanager.localizer.cache.target-size-mb</name> 
     <value>512</value> 
    </property> 

    </configuration> 

Answer 1

Нити-сайт конфигурация выделяет 7 ядер на каждый узел так, в целом у вас есть 35 ядер, что означает самое можно запустить 34 исполнителей с 1 сердечником (1 сердечник для Водитель).