Запуск программы Scala с Spark на Hadoop

Question

Я создал программу scala, которая ищет слово в текстовом файле. Я создаю файл scala с затмением и после того, как я скомпилирую и создаю банку с сборкой sbt и sbt. После этого я запускаю .jar с Spark в local и запускаю правильно. Теперь я хочу попробовать запустить эту программу, используя Spark на hadoop, у меня есть 1 мастер и 2 рабочих машины. Мне нужно изменить код? и какую команду я делаю с оболочкой мастера? я есть создать ведро и я поставил текстовый файл в Hadoop

это мой код:

import scala.io.Source 
import org.apache.spark.SparkContext 
import org.apache.spark.SparkContext._ 
import org.apache.spark.SparkConf 

object wordcount { 
    def main(args: Array[String]) { 
     // set spark context 
     val conf = new SparkConf().setAppName("wordcount").setMaster("local[*]") 
     val sc = new SparkContext(conf) 

     val distFile = sc.textFile("bible.txt") 

     print("Enter word to look for in the HOLY BILE: ") 
     val word = Console.readLine 
     var count = 0; 
     var finalCount=0; 
     println("You entered " + word) 
     val input = sc.textFile("bible.txt") 
     val splitedLines = input.flatMap(line => line.split(" ")) 
        .filter(x => x.equals(word)) 

System.out.println("The word " + word + " appear " + splitedLines.count()) 
    } 
} 

Спасибо всем

Answer 1

Просто измените следующую строку,

val conf = new SparkConf().setAppName("wordcount").setMaster("local[*]") 

до

val conf = new SparkConf().setAppName("wordcount") 

Это позволит вам не изменять код, когда вы хотите переключиться с локального режима на режим кластера. Опция мастера может быть передана с помощью команды искровой представить следующий образом,

spark-submit --class wordcount --master <master-url> --jars wordcount.jar 

и если вы хотите, чтобы запустить программу локально, используйте следующую команду,

spark-submit --class wordcount --master local[*] --jars wordcount.jar 

here список мастеров который вы можете установить при запуске приложения.