Преобразование данных в Спарк Scala

Question

У меня есть следующий dataframe

+-----+-----+-----+ .......+-------+ 
|item1|item2|item3|........| itemN | 
+-----+-----+-----+........|-------+ 
| v1| v2| v3|........| vN----+ 
| v4| v5| v6|........| v2N---+ 
+-----+-----+-----+........|-------+ 

здесь item1, элемент2 и элемент3 имена столбцов и таблица состоит из 1 строки v1, v2, v3.

Я хочу, чтобы превратить его в

colA colB 
item1 v1 
item2 v2 
item3 v3 
.  . 
.  . 
.  . 

Здесь есть две колонки позволяет сказать колой и colB и строк, как показано на рисунке.

Как сделать это преобразование в искрообразовании с помощью scala?

Answer 1

Вы можете использовать explode:

import org.apache.spark.sql.functions._ 

input.show() 
// +-----+-----+-----+ 
// |item1|item2|item3| 
// +-----+-----+-----+ 
// | v1| v2| v3| 
// | v4| v5| v6| 
// +-----+-----+-----+ 

val columns: Array[String] = input.columns 

val result = input.explode(columns.map(s => col(s)): _*) { 
    r: Row => columns.zipWithIndex.map { case (name, index) => (name, r.getAs[String](index)) } 
}.select($"_1" as "colA", $"_2" as "colB") 

result.show() 
// +-----+----+ 
// | colA|colB| 
// +-----+----+ 
// |item1| v1| 
// |item2| v2| 
// |item3| v3| 
// |item1| v4| 
// |item2| v5| 
// |item3| v6| 
// +-----+----+