Спарк РДД карта внутренний объект Row

Question

Мои исходные данные из файла CSV является:

1 ,21658392713 ,21626890421 
1 ,21623461747 ,21626890421 
1 ,21623461747 ,21626890421 

Данные у меня после нескольких преобразований и группировки на основе бизнес-логики дает

scala> val sGrouped = grouped 
sGrouped: org.apache.spark.rdd.RDD[(String, Iterable[(String,  
(Array[String], String))])] = ShuffledRDD[85] at groupBy at <console>:51 

scala> sGrouped.foreach(f=>println(f)) 
(21626890421,CompactBuffer((21626890421, 
      ([Ljava.lang.String;@62ac8444,21626890421)), 
      (21626890421,([Ljava.lang.String;@59d80fe,21626890421)),  
      (21626890421,([Ljava.lang.String;@270042e8,21626890421)), 

из это я хочу получить карту, которая дает что-то вроде следующего формата:

[String, Row[String]] 

, так что данные могут выглядеть так:

[ 21626890421 , Row[(1 ,21658392713 ,21626890421) 
       , (1 ,21623461747 ,21626890421) 
       , (1 ,21623461747,21626890421)]] 

Я очень ценю любые рекомендации по продвижению по этому вопросу.

Answer 1

Я нашел ответ, но я не уверен, что это эффективный способ, все более понятные подходы оценены, так как это больше похоже на хак.

scala> import org.apache.spark.sql.Row 
scala> val grouped = cToP.groupBy(_._1) 
grouped: org.apache.spark.rdd.RDD[(String, Iterable[(String, 
(Array[String], String))])] 

scala> val sGrouped = grouped.map(f => f._2.toList) 
sGrouped: org.apache.spark.rdd.RDD[List[(String, (Array[String],  
String))]] 


scala> val tGrouped = sGrouped.map(f =>f.map(_._2).map(c => 
Row(c._1(0), c._1(12), c._1(18)))) 
tGrouped: org.apache.spark.rdd.RDD[List[org.apache.spark.sql.Row]] = 
MapPartitionsRDD[42] a 

scala> tGrouped.foreach(f => println(f)) 

дает

List([1,21658392713,21626890421], [1,21623461747,21626890421],  
[1,21623461747,21626890421]) 
scala> tGrouped.count() 
res6: Long = 1 

Ответ Я получаю правильно, и даже граф является правильным. Тем не менее, я не понимаю, почему счет равен 1.