Zeppeline - Как настроить Zeppeline для подключения к удаленному источнику искры?

Question

У меня 5 узлов искрового кластера на отдельном хосте. Я установил zeppeline на отдельный хост и подключил искровой интерпретатор для выполнения запросов к искровому кластеру.

Zeppeline версия 1.6 - Установленная на рабочем столе

Я попробовал оба.

Добавлен "экспорт MASTER = искровой: // sparkmasterhost: 7077" и установить набор мастер переменной искрового интерпретатор установлен на "искру: // sparkmasterhost: 7077"

Когда я управляю «СБН. версия ", я получаю эту ошибку.

org.apache.thrift.transport.TTransportException 
at org.apache.thrift.transport.TIOStreamTransport.read(TIOStreamTransport.java:132) 
at org.apache.thrift.transport.TTransport.readAll(TTransport.java:86) 
at org.apache.thrift.protocol.TBinaryProtocol.readAll(TBinaryProtocol.java:429) 
at org.apache.thrift.protocol.TBinaryProtocol.readI32(TBinaryProtocol.java:318) 
at org.apache.thrift.protocol.TBinaryProtocol.readMessageBegin(TBinaryProtocol.java:219) 
at org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:69) 
at org.apache.zeppelin.interpreter.thrift.RemoteInterpreterService$Client.recv_interpret(RemoteInterpreterService.java:220) 
at org.apache.zeppelin.interpreter.thrift.RemoteInterpreterService$Client.interpret(RemoteInterpreterService.java:205) 
at org.apache.zeppelin.interpreter.remote.RemoteInterpreter.interpret(RemoteInterpreter.java:208) 
at org.apache.zeppelin.interpreter.LazyOpenInterpreter.interpret(LazyOpenInterpreter.java:93) 
at org.apache.zeppelin.notebook.Paragraph.jobRun(Paragraph.java:211) 
at org.apache.zeppelin.scheduler.Job.run(Job.java:169) 
at org.apache.zeppelin.scheduler.RemoteScheduler$JobRunner.run(RemoteScheduler.java:322) 
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) 
at java.util.concurrent.FutureTask.run(FutureTask.java:266) 
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) 
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) 
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 
at java.lang.Thread.run(Thread.java:745) 

Я не уверен, что происходит.

Answer 1

Скорее всего, версия искры, встроенная в ваш Zeppelin, отличается от версии вашего искрового кластера. Откройте http://<spark-master.url>:8080/ и проверьте версию в верхнем левом углу - например, 1.6.0. затем загрузите источник Zeppelin и создайте его локально с флагом версии Spark - zeppelin@<remote-host>:~/incubator-zeppelin$ mvn clean package -DskipTests -Pspark-1.6 -Dspark.version=1.6.0. Я только что клонировал git https://github.com/apache/incubator-zeppelin. Другой очень похожий вопрос: here