Spark слушает на localhost

Question

Я установил искру на кластере машин без общедоступного DNS (только что создал машины в облаке). Hadoop надежно устанавливается и работает правильно, но Sparks прослушивает на 7077 и 6066 как 127.0.0.1 вместо общедоступного ip, так что рабочие узлы не могут подключиться к нему.

Что не так?

Мои/и т.д./хосты на главном узле выглядит следующим образом:

127.0.1.1 namenode namenode 
127.0.0.1 localhost 
XX.XX.XX.XX namenode-public 
YY.YY.YY.YY hadoop-2 
ZZ.ZZ.ZZ.ZZ hadoop-1 

Мой $ SPARK_HOME/CONF/spark-env.sh выглядит следующим образом:

export JAVA_HOME=/usr/lib/jvm/java-8-oracle 
export SPARK_PUBLIC_DNS=namenode-public 
export SPARK_WORKER_CORES=6 
export SPARK_LOCAL_IP=XX.XX.XX.XX 

Судо NetStat -pan | Grep 7077

tcp  0  0 127.0.1.1:7077   0.0.0.0:*    LISTEN  6670/java 

Answer 1

Вы должны указать SPARK_MASTER_HOST в spark-env.sh (он должен быть адрес вашей машины т шляпа видна подчиненным узлам). Кроме того, вам может потребоваться добавить правила для портов 7077 и 6066 в iptables.