na.fill in Spark DataFrame Scala

Question

Я использую Spark/Scala, и я хочу заполнить нули в моем DataFrame значениями по умолчанию, основанными на типе столбцов.

т.е. строковые столбцы -> "строка", числовые столбцы -> 111, булевы Columns -> Ложные и т.д.

В настоящее время DF.na.functions API предоставляет na.fill
fill(valueMap: Map[String, Any]) как

df.na.fill(Map(
    "A" -> "unknown", 
    "B" -> 1.0 
)) 

Для этого требуется знать имена столбцов, а также тип столбцов.

ИЛИ

fill(value: String, cols: Seq[String]) 

Это только строка/Double типа, даже не Boolean.

Есть ли разумный способ сделать это?

Answer 1

Посмотрите на dtypes: Array[(String, String)]. Вы можете использовать вывод этого метода для генерации Map для fill, например .:

val typeMap = df.dtypes.map(column => 
    column._2 match { 
     case "IntegerType" => (column._1 -> 0) 
     case "StringType" => (column._1 -> "") 
     case "DoubleType" => (column._1 -> 0.0) 
    }).toMap