Сохранить Spark RDD to Hive Table

Question

В искры я хочу сохранить объекты RDD для таблицы улей. Я пытаюсь использовать createDataFrame но бросает

Exception in thread "main" java.lang.NullPointerException

val products=sc.parallelize(evaluatedProducts.toList); 
//here products are RDD[Product] 
val productdf = hiveContext.createDataFrame(products, classOf[Product]) 

Я использую искру версии 1.5.

Answer 1

Если ваш продукт является классом (не тот случай, класс), я предлагаю вам превратить ваш RDD в РДУ [кортежи] перед созданием DataFrame:

import org.apache.spark.sql.hive.HiveContext 

val hiveContext = new HiveContext(sc) 
import hiveContext.implicits._ 

val productDF = products 
    .map({p: Product => (p.getVal1, p.getVal2, ...)}) 
    .toDF("col1", "col2", ...) 

При таком подходе вы будете иметь атрибуты продукта как столбцы в DataFrame.

Затем вы можете создать временную таблицу с:

productDF.registerTempTable("table_name") 

или физической таблицы с:

productDF.write.saveAsTable("table_name")