2015-07-03 3 views
0

Я уровне -3 новичок в Scala/Спарк, у меня есть и RDD[String,String] содержащий п слово в строке как:Спарк РДД Строка Совокупные

id1, cat fish 
id1, eat red 
id2, blue Dog 

И я хотел бы получить RDD[String,String] как:

id1, cat fish eat red 
id2, blue Dog 

до сих пор я уже попробовал groupByKey

val rdd2 = rdd1.groupByKey()

Благодарим вас за любые советы.

ответ

1
rdd1.reduceByKey((s1, s2) => s1 + " " + s2) 
+0

Спасибо, я решил вот так: rdd1.groupBy (_._ 1) .mapValues ​​(_. Map (_._ 2)), но ваше решение намного лучше. –