Невозможно напечатать содержимое РДУ

Question

Я пытаюсь напечатать содержимое моего РДУ RDD[(String,List[(String,String)])]:

val sc = new SparkContext(conf) 
val splitted = rdd.map(line => line.split(",")) 
val processed = splitted.map(x=>(x(1),List((x(0),x(2),x(3),x(4))))) 
val grouped = processed.reduceByKey((x,y) => (x ++ y)) 
System.out.println(grouped) 

Однако вместо того, чтобы содержимое я вижу:

ShuffledRDD[4] at reduceByKey at Consumer.scala:88

UPDATE:

Содержание TXT-файла:

100001082016,230,111,1,1 
100001082016,121,111,1,1 
100001082016,110,111,1,1 

UPDATE 2 (весь код):

class Consumer() 
{ 

def run() = { 
    val conf = new SparkConf() 
           .setAppName("TEST") 
           .setMaster("local[*]") 
    val sc = new SparkContext(conf) 
    val rdd = sc.textFile("file:///usr/test/myfile.txt") 
    val splitted = rdd.map(line => line.split(",")) 
    val processed = splitted.map(x=>(x(1),List((x(0),x(2),x(3),x(4))))) 
    val grouped = processed.reduceByKey((x,y) => (x ++ y)) 
    System.out.println(grouped) 
} 

} 

Answer 1

Там нет вопроса здесь:

scala> val rdd = sc.parallelize(Seq("100001082016,230,111,1,1","100001082016,121,111,1,1","100001082016,110,111,1,1")) 
// rdd: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[0] at parallelize at <console>:27 

scala> val splitted = rdd.map(line => line.split(",")) 
// splitted: org.apache.spark.rdd.RDD[Array[String]] = MapPartitionsRDD[1] at map at <console>:29 

scala> val processed = splitted.map(x=>(x(1),List((x(0),x(2),x(3),x(4))))) 
// processed: org.apache.spark.rdd.RDD[(String, List[(String, String, String, String)])] = MapPartitionsRDD[2] at map at <console>:31 

scala> val grouped = processed.reduceByKey((x,y) => (x ++ y)) 
// grouped: org.apache.spark.rdd.RDD[(String, List[(String, String, String, String)])] = ShuffledRDD[3] at reduceByKey at <console>:33 

scala> grouped.collect().foreach(println) 
// (121,List((100001082016,111,1,1))) 
// (110,List((100001082016,111,1,1))) 
// (230,List((100001082016,111,1,1))) 

Следующая неправильно. Он работает, как ожидают, но вы должны понимать язык правильно, чтобы знать, что ожидать:

scala> System.out.println(grouped) 
// ShuffledRDD[3] at reduceByKey at <console>:33 

EDIT: Просто чтобы быть ясно, если вы хотите напечатать коллекцию, вы должны будете использовать mkString доступен для коллекции, которую вам нужно будет преобразовать в формат, который вы хотите.