SparkLauncher: App args рассматриваются как непризнанный вариант

Question

Я использую SparkLauncher для подачи искрового приложения из кода.

 Map<String, String> env = new HashMap<String, String>(); 
     env.put("SPARK_PRINT_LAUNCH_COMMAND", "1"); 

     System.out.println("Creating SparkLauncher"); 
     SparkLauncher launcher = new SparkLauncher(env); 
     launcher.setSparkHome(sparkHome); 
     launcher.setAppResource(appResource); 
     launcher.setMaster(sparkMaster); 
     launcher.setMainClass(mainClass); 
     launcher.setAppName("TestFromJersey") 
     .setVerbose(true) 
     .setConf("spark.cores.max", "20") 
     .setConf("spark.executor.memory", "30G") 
     .setConf("spark.executor.extraJavaOptions", "-XX:+UseG1GC -XX:+PrintFlagsFinal -XX:+PrintReferenceGC -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintAdaptiveSizePolicy -XX:+UnlockDiagnosticVMOptions -XX:+G1SummarizeConcMark -XX:ConcGCThreads=13 -XX:NewRatio=1 -XX:+PrintTenuringDistribution"); 

     for(File f : new File("/home/user/jars").listFiles()){ 
      launcher.addJar(f.getAbsolutePath()); 
     } 

     try { 
      System.out.println("Launching Spark Job from SparkLauncher"); 
      launcher.addAppArgs("--jobName myJobName", 
        "--time "+System.currentTimeMillis()+"", 
        "--authUser admin", 
        "--savePage true"); 
      launcher.startApplication(new SparkAppHandle.Listener() { 
        @Override public void stateChanged(SparkAppHandle h) { 
         System.out.println("App State:" + h.getState()); 
        } 
        @Override public void infoChanged(SparkAppHandle h) { } 
        }); 
     } catch (IOException e) { 
      // TODO Auto-generated catch block 
      System.out.println("error in launching Spark Application"); 
      e.printStackTrace(); 
     } 

Теперь работа не работает вообще, а функции обработчика не называются, что я считаю, из-за ошибки в конфигурации задания. в журнале выхода я вижу следующее сообщение об ошибке:

org.apache.commons.cli.UnrecognizedOptionException: Unrecognized option: -jobName myJobName 

Так, мне кажется, что код не в состоянии распознавать appArgs отдельно от sparkArguments.

Любые указатели? это формат, который я использую для правильного добавления AppArgs?

Answer 1

Ok, с некоторыми попаданием и суда, правильный способ указать аргументы является:

launcher.addAppArgs("--jobName","myJobName", 
        "--authUser","admin", 
        "--savePage","true");