Как сгладить структуру в искровом фрейме?

Question

У меня есть dataframe со следующей структурой:

|-- data: struct (nullable = true) 
| |-- id: long (nullable = true) 
| |-- keyNote: struct (nullable = true) 
| | |-- key: string (nullable = true) 
| | |-- note: string (nullable = true) 
| |-- details: map (nullable = true) 
| | |-- key: string 
| | |-- value: string (valueContainsNull = true) 

Как можно выровнять структуру и создать новую dataframe:

 |-- id: long (nullable = true) 
    |-- keyNote: struct (nullable = true) 
    | |-- key: string (nullable = true) 
    | |-- note: string (nullable = true) 
    |-- details: map (nullable = true) 
    | |-- key: string 
    | |-- value: string (valueContainsNull = true) 

Есть ли что-то вроде взорваться, но и для структур?

Answer 1

Это должно работать в Спарк 1.6 или более поздней версии:

df.select(df.col("data.*")) 

или

df.select(df.col("data.id"), df.col("data.keyNote"), df.col("data.details")) 

Answer 2

Простой способ заключается в использовании SQL, можно создать строку SQL запроса для псевдонимов вложенными столбцов, как плоские ,

1. Получение данных кадра схемы (df.schema())
2. преобразование схемы в SQL (для (поля:. Схемы() поля()) ....
3. запрос «Вал newDF = sqlContext.sql ("SELECT" + sqlGenerated + "от источника")

пример в Java:

https://gist.github.com/ebuildy/3de0e2855498e5358e4eed1a4f72ea48

(Я предпочитаю SQL-путь, поэтому вы можете легко протестировать его на Spark-shell и перекрестном языке).