Как конвертировать РД в течение нескольких классов случае в РДУ их компоненты

Question

у меня есть Спарк RDD, который типа двух классов случае - что-то вроде этого:

RDD[(ACTKey, UIDSKey)] 

где тематические классы определяет следующим образом:

case class ACTKey(ACCOUNT: Int, PERIOD: String, COUNTRY: String) 
case class UIDSKey(PRODUCT: String, UNIT: String, ID: Int) 

Когда я спасаю его в таблице улей, вызвав dataframe.saveAsTable («MyTable», SaveMode.Overwrite) создает двухмерную структуру таблицы:

_1 (struct<ACCOUNT:int,PERIOD:string,COUNTRY:string>) 
_2 (struct<PRODUCT:string,UNIT:string, ID:int>) 

Я хочу иметь простую структуру таблицы вроде этого: СЧЕТ: INT, период: строка, страна: строка, PRODUCT: строка, единица измерения: строка, ID: ИНТ

Один из способов сделать это вручную сопоставьте мой RDD с отдельными компонентами класса case, например map (x => (x._1.ACCOUNT, x._1.PERIOD, ... и т. д.)), но есть слишком много жесткого кодирования, которое должно измениться, если мои классы классов меняются. Поэтому я ищу более элегантное решение, например, чтобы сгладить структуру моего RDD, которая может быть использована для любого RDD, основанного на наборе классов case.

Answer 1

Попробуйте это:

rdd.toDF().select("_1.*", "_2.*") 
    .write 
    .format("parquet") 
    .mode(SaveMode.Overwrite) 
    .saveAsTable("MyTable")