Исправлена ​​ошибка смены значения столбца Spark Dataframe

Question

Я хочу изменить свойство nullable для определенного столбца в DataFrame Spark.

Если я печатаю схему данных в настоящее время, она выглядит ниже. col1: string (nullable = false) col2: string (nullable = true) col3: string (nullable = false) col4: float (nullable = true)

Я просто хочу, чтобы значение null для null было обновлено. col1: string (nullable = false) col2: string (nullable = true) col3: string (nullable = true) col4: float (nullable = true)

Я проверил онлайн здесь несколько ссылок, но похоже, что они делают это для всех столбцов, но не для определенного столбца. Change nullable property of column in spark dataframe Может кто-нибудь, пожалуйста, помогите мне в этом отношении.

Answer 1

Существует нет «четкого» способа сделать это. Вы можете использовать трюк как here

Соответствующий код из этого ответа:

def setNullableStateOfColumn(df: DataFrame, cn: String, nullable: Boolean) : DataFrame = { 

    // get schema 
    val schema = df.schema 
    // modify [[StructField] with name `cn` 
    val newSchema = StructType(schema.map { 
    case StructField(c, t, _, m) if c.equals(cn) => StructField(c, t, nullable = nullable, m) 
    case y: StructField => y 
    }) 
    // apply new schema 
    df.sqlContext.createDataFrame(df.rdd, newSchema) 
} 

Это будет копировать DataFrame и скопировать схему, но с specyfying NULLABLE программно

Версия для многих колонок:

def setNullableStateOfColumn(df: DataFrame, nullValues: Map[String, Boolean]) : DataFrame = { 

    // get schema 
    val schema = df.schema 
    // modify [[StructField]s with name `cn` 
    val newSchema = StructType(schema.map { 
    case StructField(c, t, _, m) if nullValues.contains(c) => StructField(c, t, nullable = nullValues.get(c), m) 
    case y: StructField => y 
    }) 
    // apply new schema 
    df.sqlContext.createDataFrame(df.rdd, newSchema) 
} 

Использование: setNullableStateOfColumn (df1, Map ("col1" -> true, "col2" -> true, "col7" -> false));