Невозможно запустить автономный кластер apache.

Question

У меня есть некоторые проблемы, чтобы запустить кластер Spark с мастером и рабочим. Я загрузил и установил Hadoop 2.7.3 и Spark 2.0.0 на Ubuntu 16.04 LTS. Я сделал Conf/Раба файл с IP моим рабом, и это мой spark-env.sh

#!/usr/bin/env #bash 

export SPARK_DIST_CLASSPATH=$(hadoop classpath) 


export SPARK_WORKER_CORES=2 

export SPARK_MASTER_IP=192.168.1.6 
export SPARK_LOCAL_IP=192.168.1.6 

export SPARK_YARN_USER_ENV="JAVA_HOME=/usr/lib/jvm/java-8-oracle/jre" 

Я начал мастер, используя start-master.sh и это все в порядке. У меня есть некоторые проблемы, когда я пытаюсь запустить рабочего.

Я попытался с:

(1) - start-slave.sh spark://192.168.1.6:7077 (from worker) 
(2) - start-slaves.sh (from master) 
(3) - ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://192.168.1.6:7077 (from worker) 

С (1) е (2) раб, по-видимому начал, но в мастер: 8080 это не было показано. Используя (3) он бросает это исключение:

16/08/31 14:17:03 INFO worker.Worker: Connecting to master master:7077... 
16/08/31 14:17:03 WARN worker.Worker: Failed to connect to master master:7077 
org.apache.spark.SparkException: Exception thrown in awaitResult 
    at org.apache.spark.rpc.RpcTimeout$$anonfun$1.applyOrElse(RpcTimeout.scala:77) 
    at org.apache.spark.rpc.RpcTimeout$$anonfun$1.applyOrElse(RpcTimeout.scala:75) 
    at scala.runtime.AbstractPartialFunction.apply(AbstractPartialFunction.scala:36) 
    at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcTimeout.scala:59) 
    at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcTimeout.scala:59) 
    at scala.PartialFunction$OrElse.apply(PartialFunction.scala:167) 
    at org.apache.spark.rpc.RpcTimeout.awaitResult(RpcTimeout.scala:83) 
    at org.apache.spark.rpc.RpcEnv.setupEndpointRefByURI(RpcEnv.scala:88) 
    at org.apache.spark.rpc.RpcEnv.setupEndpointRef(RpcEnv.scala:96) 
    at org.apache.spark.deploy.worker.Worker$$anonfun$org$apache$spark$deploy$worker$Worker$$tryRegisterAllMasters$1$$anon$1.run(Worker.scala:216) 
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) 
    at java.util.concurrent.FutureTask.run(FutureTask.java:266) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 
    at java.lang.Thread.run(Thread.java:745) 
Caused by: java.io.IOException: Failed to connect to master/192.168.1.6:7077 
    at org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:228) 
    at org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:179) 
    at org.apache.spark.rpc.netty.NettyRpcEnv.createClient(NettyRpcEnv.scala:197) 
    at org.apache.spark.rpc.netty.Outbox$$anon$1.call(Outbox.scala:191) 
    at org.apache.spark.rpc.netty.Outbox$$anon$1.call(Outbox.scala:187) 
    ... 4 more 
Caused by: java.net.ConnectException: Connection refused: master/192.168.1.6:7077 
    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) 
    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717) 
    at io.netty.channel.socket.nio.NioSocketChannel.doFinishConnect(NioSocketChannel.java:224) 
    at io.netty.channel.nio.AbstractNioChannel$AbstractNioUnsafe.finishConnect(AbstractNioChannel.java:289) 
    at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:528) 
    at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:468) 
    at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:382) 
    at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:354) 
    at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:111) 
    ... 1 more 
16/08/31 14:17:40 ERROR worker.Worker: All masters are unresponsive! Giving up. 

Мастера и работник размещаются на VMWare VM, установленный на тот же Windows 10 хоста с помощью мостового соединения.

Я также отключил брандмауэр.

Что я могу сделать?

Заранее спасибо.

Answer 1

В журналах:

16/08/31 14:17:03 INFO worker.Worker: Connecting to master master:7077... 

Вы можете видеть, он пытается соединить master:7077

Убедитесь, что мастер имя хоста решает к данному IP (192.168.1.6).

Вы можете проверить имена хостов в файле/etc/hosts.