Почему сервер zeppelin на искровом кластере не отвечает?

Question

Я установил zeppelin в локальную модель и модель кластера. Все они успешно установлены и подключены. Но модель кластера не может обработать мой код, несмотря на примеры zeppelin. Он начался и был в ожидании, и работает в течение длительного времени, то в результате этой ошибки каждый раз:

java.util.concurrent.TimeoutException: Futures timed out after [10000 milliseconds] 

Затем я открываю каталог журналов и открыть мой ZEPPELIN-переводчик-искровой трубопроводный lls6.log. Я вставить ОШИБКА информации журнала удар:

ERROR [2015-07-09 17: 30: 20,721] ({пул-1-поточно-2} ProcessFunction.java [Процесс]: 41) - Внутренняя ошибка обработка getProgress org.apache.zeppelin.interpreter.InterpreterException: java.util.concurrent.TimeoutException: фьючерсы после того, как истекло [10000] миллисекунд на org.apache.zeppelin.interpreter.ClassloaderInterpreter.open (ClassloaderInterpreter.java:76) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open (LazyOpenInterpreter.java:68) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.getProgress (LazyOpenInterpreter.java:109) на org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer.getProgress (RemoteInterpreterServer.java:297) на org.apache.zeppelin.interpreter.thrift.RemoteInterpreterService $ Процессор $ getProgress.getResult (RemoteInterpreterService.java:938) в org.apache.zeppelin.interpreter.thrift.RemoteInterpreterService $ Processor $ getProgress.getResult (RemoteInterpreterService.java:923) at org.apache.thrift.ProcessFunction.process (ProcessFunction.java:39) at org.apache.thrift. TBaseProcessor.process (TBaseProcessor.java:39) at org.apache.thrift.server.TThreadPoolServer $ WorkerProcess.run (TThreadPoolServer.java:206) at java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1145) на java.util.concurrent.ThreadPoolExecutor $ Worker .run (ThreadPoolExecutor.java:615) в java.lang.Thread.run (Thread.java:745)

Пример bank-full.txt я переехал в hdfs directory.The же ситуация не появляется в локальная модель.

Наш кластер является автономным. Все версии являются искро-1.3 hadoop-2.0.0-CDH-4.5.0. Под conf я добавляю URL-адрес Master. Кто-нибудь сталкивался с такой ситуацией и сказал мне, как это исправить.

Спасибо всем!

Answer 1

Похоже на мою проблему с использованием кластера EMR с фиксированным IP-адресом. В кластерной модели Hadoop кластер Spark должен отличаться от сервера zeppelin. MasterURL следует изменить следующим образом:

export MASTER="spark://master_addr:7077" 

и переустановить переводчик на сервер zeppelin.

export SPARK_HOME=XXX 
export SPARK_CONF_DIR=XXX 
export HADOOP_HOME=XXX 
export HADOOP_CONF_DIR=XXX 
export SPARK_YARN_JAR=XXX 
export SPARK_CLASSPATH=XXX