Спарк Scala сценарий выполнения команды

Я новичок искры, у меня есть сценарий Спарк, как этотСпарк Scala сценарий выполнения команды

import org.apache.spark.SparkContext 

/** 

* Loading sales csv using DataFrame API 

*/ 

    object CsvDataInput { 
    def main(args: Array[String]) { 


    val sc = new SparkContext(args(0), "Csv loading example") 
    val sqlContext = new org.apache.spark.sql.SQLContext(sc) 
    val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> args(1),"header"->"true")) 

    df.printSchema() 
    df.registerTempTable("sales") 

    val aggDF = sqlContext.sql("select sum(amt),code from sales where tran='CHG' group by amt,code") 

    println(aggDF.collectAsList()) 
    } 

}

Как я могу выполнить эту программу в Cloudera Какую команду я должен использовать

я использовал этот команда

./bin/spark-shell --class имя_класса --master местный "Scriptpath" inputpath

но я не получаю выход.

источник

2015-09-07 Ravi Reddy

Вы можете использовать spark-submit. например

./bin/spark-submit --class classname --master local[*] "Scriptpath" inputpath

источник

2015-09-07 12:11:38

Thans, когда я выполнил эту программу, я получил ошибку как класс не кладезь execption, что я должен делать, когда я пропустил –

«inputpath» из вашего примера нужно указать имя файла JAR. Имя класса должно включать префикс пакета. Запустите «jar tf your.jar», чтобы убедиться, что ваш класс на самом деле находится в вашей банке. –

Но я хочу исполнить скрипт, а не jar. Также, когда я создаю jar, когда я копирую эту программу, я получаю ошибку, потому что это программа Scala. Итак, как создать файл jar –

Спарк Scala сценарий выполнения команды

ответ

Смежные вопросы