Запуск Apache Spark cluster

Question

Я установил Hadoop на свой четырехузелный кластер. Я также установил Apache Spark для каждого из них. Я могу ssh без пароля от мастера в каждом из подчиненных. Я также могу запустить свой мастер-узел просто отлично. Однако, когда я пытаюсь запустить Спарк с /opt/spark/sbin/start-all.sh, я получаю следующее сообщение об ошибке:

starting org.apache.spark.deploy.master.Master, logging to /opt/spark/logs/spark-hduser-org.apache.spark.deploy.master.Master-1-lebron.out 
doublet: chown: changing ownership of ‘/opt/spark/logs’: Operation not permitted 
doublet: starting org.apache.spark.deploy.worker.Worker, logging to /opt/spark/logs/spark-hduser-org.apache.spark.deploy.worker.Worker-1-doublet.out 
doublet: /opt/spark/sbin/spark-daemon.sh: line 149: /opt/spark/logs/spark-hduser-org.apache.spark.deploy.worker.Worker-1-doublet.out: Permission denied 
kyrie: chown: changing ownership of ‘/opt/spark/logs’: Operation not permitted 
kyrie: starting org.apache.spark.deploy.worker.Worker, logging to /opt/spark/logs/spark-hduser-org.apache.spark.deploy.worker.Worker-1-kyrie.out 
kyrie: /opt/spark/sbin/spark-daemon.sh: line 149: /opt/spark/logs/spark-hduser-org.apache.spark.deploy.worker.Worker-1-kyrie.out: Permission denied 
lebron: starting org.apache.spark.deploy.worker.Worker, logging to /opt/spark/logs/spark-hduser-org.apache.spark.deploy.worker.Worker-1-lebron.out 
jr: chown: changing ownership of ‘/opt/spark/logs’: Operation not permitted 
jr: starting org.apache.spark.deploy.worker.Worker, logging to /opt/spark/logs/spark-hduser-org.apache.spark.deploy.worker.Worker-1-jr.out 
jr: /opt/spark/sbin/spark-daemon.sh: line 149: /opt/spark/logs/spark-hduser-org.apache.spark.deploy.worker.Worker-1-jr.out: Permission denied 
doublet: failed to launch org.apache.spark.deploy.worker.Worker: 
doublet: tail: cannot open ‘/opt/spark/logs/spark-hduser-org.apache.spark.deploy.worker.Worker-1-doublet.out’ for reading: No such file or directory 
doublet: full log in /opt/spark/logs/spark-hduser-org.apache.spark.deploy.worker.Worker-1-doublet.out 
kyrie: failed to launch org.apache.spark.deploy.worker.Worker: 
kyrie: tail: cannot open ‘/opt/spark/logs/spark-hduser-org.apache.spark.deploy.worker.Worker-1-kyrie.out’ for reading: No such file or directory 
jr: failed to launch org.apache.spark.deploy.worker.Worker: 
kyrie: full log in /opt/spark/logs/spark-hduser-org.apache.spark.deploy.worker.Worker-1-kyrie.out 
jr: tail: cannot open ‘/opt/spark/logs/spark-hduser-org.apache.spark.deploy.worker.Worker-1-jr.out’ for reading: No such file or directory 
jr: full log in /opt/spark/logs/spark-hduser-org.apache.spark.deploy.worker.Worker-1-jr.out 

(Мои компьютеры называются Леброн (мастер), Kyrie, младший, дублет (работников))

Пожалуйста, помогите !!!

Answer 1

взгляд любит папку/Opt/искра не имеет разрешения на запись в лог-файл дать полное разрешение: - Судо CHMOD -R 777/Opt/искру , а также проверить, что/Opt/папку искровой пользователь: группы имеют одинаковое значение для всех машины (ведущего и ведомых оба) в противном случае выполнить эту команду Судо Чаун -R имя_пользователя: Groupname/Opt/искра

Answer 2

настроить пароль меньше ssh на всех узлах.

Answer 3

Запуск сервера:

Чтобы запустить автономный мастер-сервер выполняет:

$ ./sbin/start-master.sh 

Чтобы запустить один или несколько рабочих и подключить их к хозяину через:

$ ./sbin/start-slave.sh <master-spark-URL> 

Посмотрите на эту статью: Apache Spark Cluster Installation and Configuration Guide