Почему saveAsTextFile ничего не делает?

Question

Я пытаюсь реализовать простой WordCount в Scala + Spark. Вот мой код

object FirstObject { 
    def main(args: Array[String]) { 
    val input = "/Data/input" 
    val conf = new SparkConf().setAppName("Simple Application") 
           .setMaster("spark://192.168.1.162:7077") 
    val sparkContext = new SparkContext(conf) 
    val text = sparkContext.textFile(input).cache() 
    val wordCounts = text.flatMap(line => line.split(" ")) 
         .map(word => (word,1)) 
         .reduceByKey((a,b) => a+b) 
         .sortByKey() 
    wordCounts.saveAsTextFile("/Data/output") 

    } 

Эта работа работает на 54s, и, наконец, ничего не делать. Is не записывает вывод на /Data/output

Также, если я заменяю saveAsTextFile на forEach(println), это производит желаемый результат.

Answer 1

Вы должны проверить свои права пользователя на/папку данных/вывода. Эта папка должна иметь права на запись для вашего конкретного пользователя.