Ошибка SparkDeploySchedulerBackend: приложение было убито. Все мастера нечувствительны

Question

В то время как я начинаю Спарк оболочки:

bin>./spark-shell 

Я получаю следующее сообщение об ошибке:

Spark assembly has been built with Hive, including Data nucleus jars on classpath 
Welcome to SPARK VERSION 1.3.0 
Using Scala version 2.10.4 (Java HotSpot(TM) Server VM, Java 1.7.0_75) 
Type in expressions to have them evaluated. 
Type :help for more information. 
15/05/10 12:12:21 ERROR SparkDeploySchedulerBackend: Application has been killed. Reason: All masters are unresponsive! Giving up. 
15/05/10 12:12:21 ERROR TaskSchedulerImpl: Exiting due to error from cluster scheduler: All masters are unresponsive! Giving up. 

я установил искру по следующим ниже ссылке: - http://www.philchen.com/2015/02/16/how-to-install-apache-spark-and-cassandra-stack-on-ubuntu

Answer 1

You должен предоставить ваш основной URL-адрес Spark Cluster при запуске a spark-shell

По крайней мере:

bin/spark-shell --master spark://master-ip:7077 

Все параметры составляют длинный список, и вы можете найти соответствующие одни сами:

bin/spark-shell --help 

Answer 2

Я предполагаю, что вы работаете в этом в автономном/локальном режиме. Запустите искровую раковину следующей строкой. Это означает, что вы используете все доступные ядра вашего мастера, который является локальной машиной.

bin/spark-shell --master local[*]

http://spark.apache.org/docs/1.2.1/submitting-applications.html#master-urls

Answer 3

Посмотрите на ваши файлы журналов «разрешения отказано» ошибки ... Это может случится, что ваш сервис клиент не имеет необходимых полномочий для доступа к вашим папкам Master.