Как запустить искровой файл с искровой оболочкой

Question

Я написал приложение искры HelloWorld. Файл выглядит так:

object HelloWorld{ 
    def main(args: Array[String]){ 
    println("HelloWorld") 
    } 
} 

но это всего лишь файл. Я хочу запустить его из терминала bash, а не из искровой оболочки. Я хотел бы выполнить запланированную задачу с помощью crontab. Как я могу заставить это работать?

Answer 1

Вы можете использовать команду ниже для запуска искрового приложения.

./bin/spark-submit \ 
    --class <main-class> 
    --master <master-url> \ 
    --deploy-mode <deploy-mode> \ 
    --conf <key>=<value> \ 
    ... # other options 
    <application-jar> \ 
    [application-arguments] 

Простой пример:

spark-submit --class WordCount MyJarFile.jar fileURL 

Answer 2

Программа вы написали чистый объект Scala. Вы можете легко запустить его из Баша как:

scalac program.scala 
scala HelloWorld 

Или если у вас есть искровая программа, написанная, то вы можете использовать ниже данную команду, чтобы запустить его из Баша, но помните, что вы должны назвать класс драйвера для него:

spark-shell -i program.scala