spark-submit ClassNotFound Exception с Maven

Question

Я понимаю, что есть связанные вопросы с этим, но я просто не могу заставить мой код работать.

Я запускаю приложение Spark Streaming в автономном режиме с основным узлом на моем хосте Windows и рабочим на виртуальной машине Ubuntu. Вот проблема: когда я запускаю искру подать, это то, что проявляется:

>spark-submit --master spark://192.168.56.1:7077 --class spark.example.Main C:/Users/Manuel Mourato/xxx/target/ParkMonitor-1.0-SNAPSHOT.jar 
Warning: Skip remote jar C:/Users/Manuel. 
java.lang.ClassNotFoundException: spark.example.Main 
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357) 
    at java.lang.Class.forName0(Native Method) 
    at java.lang.Class.forName(Class.java:348) 
    at org.apache.spark.util.Utils$.classForName(Utils.scala:175) 
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:689) 
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181) 
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206) 
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121) 
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 

Я создал эту банку файл с Maven, используя «пакет» в IntelliJ. Это, как я устанавливаю мой SparkStreaming Контекст:

SparkConf sparkConfiguration= new SparkConf().setAppName("ParkingDataAnalysis").setMaster("spark://192.168.56.1:7077"); 
JavaStreamingContext sparkStrContext=new JavaStreamingContext(sparkConfiguration, Durations.seconds(1)); 

Может кто-нибудь мне помочь? Огромное спасибо.

Answer 1

У вас есть пространство, в имя папки, добавьте кавычки (") и попробуйте еще раз

spark-submit --master spark://192.168.56.1:7077 --class spark.example.Main "C:/Users/Manuel Mourato/xxx/target/ParkMonitor-1.0-SNAPSHOT.jar"

еще один, из документации: а pplication-jar: Path to a bundled jar including your application and all dependencies. The URL must be globally visible inside of your cluster, for instance, an hdfs:// path or a file:// path that is present on all nodes.

Поэтому, пожалуйста, скопируйте файл в HDFS или то же самое местоположение на всех узлах. Было бы сложно в сочетании с Linux и Windows;) Я настоятельно рекомендую настроить HDFS