Не удается запустить Apache Spark в Windows с помощью Cygwin

Question

Прошу прощения, если это слишком тривиально, но я очень новичок в Spark. Я создал Apache Spark на Windows из кода с использованием Maven. Я использовал Cygwin для сборки, и он работал нормально. Теперь я не могу запустить его с помощью команды (./start-master.sh) из каталога sbin.

Я получаю ошибку ниже: не удалось запустить org.apache.spark.deploy.master.Master:

Error: Could not find or load main class org.apache.spark.launcher.Main 
full log in /cygdrive/c/Spark/spark-1.5.1/sbin/../logs/spark-auser-org.apache.spark.deploy.master.Master-1.host 

Я понимаю, что он ищет искрового-launcher_2.10-1.5.1. jar в пути к классам, но я не могу определить в сценариях, где он определяет путь к классам или каталог lib.

Answer 1

Вы можете следить за Building a Runnable Distribution шагов, как упоминалось Gimby, как это, например:

./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.4 -Phive -Phive-thriftserver -Pyarn 

---

Как уже упоминалось Патрик McGloin, вы могли бы также начать Спарк кластера на самом Windows, как это, например:

spark-class.cmd org.apache.spark.deploy.master.Master 
spark-class.cmd org.apache.spark.deploy.worker.Worker spark://localhost:7077 

Вы можете прочитать в Spark Standalone Mode и How to set up Spark cluster on Windows machines?

---

Наконец, как упоминалось в OP, он смог создать управляемый дистрибутив, создавший новый tar-файл Custom-spark в родительском каталоге. (S) он взял этот файл, распаковал его в другом каталоге, отправился в подкаталог bin и затем смог открыть scala-shell.