не в состоянии увидеть содержимое РДДА

Question

Я использую Scala для создания RDD, но когда я пытаюсь увидеть содержание РДА я получаю ниже результаты

MapPartitionsRDD[25] at map at <console>:96 

Я хочу видеть содержимое РДА, как может я вижу это ?

ниже мой код Scala:

object WordCount { 
    def main(args: Array[String]): Unit = { 
    val textfile = sc.textFile("/user/cloudera/xxx/File") 
    val word = textfile.filter(x => x.length > 0).map(_.split('|')) 
    println(word) 
    } 
} 

Answer 1

Вы должны предоставить output transformation (action). например использовать RDD.collect:

object WordCount { 
    def main(args: Array[String]): Unit = { 
    val textfile = sc.textFile("/user/cloudera/xxx/File") 
    val word = textfile.filter(x => x.length > 0).map(_.split('|')) 
    word.collect().foreach(println) 
    } 
} 

Если у вас есть Array[Array[T]], вам необходимо flatten перед использованием foreach:

word.collect().flatten.foreach(println)