пакет в sparklauncher в Apache Spark?

Когда я spark-submit с spark-csv, я использую следующую команду,пакет в sparklauncher в Apache Spark?

spark-submit --master spark://10.0.0.1:7077 --packages com.databricks:spark-csv_2.11:1.2.0 MyApp.jar

(примечание: Я использую --packages com.databricks:spark-csv_2.11:1.2.0)

Вопрос: Как я могу это сделать с искровым пусковой (I не можете найти, куда вставить информацию о пакете из API)?

(Ниже приводится код, я использую)

import org.apache.spark.launcher.SparkLauncher 

object Launcher extends App { 

    val spark = new SparkLauncher() 
    .setSparkHome("/myspark1.5.1path/") 
    .setAppResource("/mypath/MyApp.jar") 
    .setMainClass("MyApp") 
    .setMaster("local[*]") 
    .launch() 
    spark.waitFor() 
}

источник

2015-12-15 Carson Pun

Видимо, вы не можете (пока). https://spark.apache.org/docs/latest/api/java/org/apache/spark/launcher/SparkLauncher.html – Reactormonk

Вы можете использовать плагин maven shade [ссылка] (http://stackoverflow.com/questions/ 32265456/как к предварительно пакет-внешние библиотеки по-когда-с помощью искры-на-Mesos-кластера/32403191 # 32403191) – Kaushal

spark.addSparkArg("--packages", "com.databricks:spark-csv_2.11:1.2.0")

источник

2016-03-01 18:41:11 user2445143

пакет в sparklauncher в Apache Spark?

ответ

Смежные вопросы