Спарк RDD вопросы картографирования

Question

У меня есть текстовые данные, как показано ниже

 
no1  1|3|4 
no2  4|5|6 

и я хочу, чтобы преобразовать вышеуказанные данные, как показано ниже с помощью искрового RDD и язык SCALA.

 
no1  1 
no1  3 
no1  4 
no2  4 
no2  5 
no2  6 

Я очень новичок в Spark и Scala. И я не могу найти ни одного примера, который бы делал это.

Answer 1

Я рекомендую вам прочитать в файле как фрейм данных, в API которого будет больше внимания в будущей искровой версии, чем в RDD API. И с кадра данных, задача вы спрашиваете довольно просто с split и explode функции:

val df = Seq(("no1", "1|3|4"), ("no2", "4|5|6")).toDF("A", "B") 
// df: org.apache.spark.sql.DataFrame = [A: string, B: string] 

df.show 
+---+-----+ 
| A| B| 
+---+-----+ 
|no1|1|3|4| 
|no2|4|5|6| 
+---+-----+ 


df.withColumn("B", explode(split($"B", "\\|"))).show 
+---+---+ 
| A| B| 
+---+---+ 
|no1| 1| 
|no1| 3| 
|no1| 4| 
|no2| 4| 
|no2| 5| 
|no2| 6| 
+---+---+