Спарк преобразует 0 в нуль

Question

У меня есть таблица в Кассандре и один столбец в таблице имеют тип Double, со значением 0.

Когда я пытаюсь прочитать эти данные с помощью искры:

val dataFromCassandra = sqlContext.read 
    .cassandraFormat("table_name", SomeKeyspace) 
    .load() 

он возвращает значение вместо 0.

, пожалуйста, помогите !!!

Answer 1

Не знаком с источником данных Cassandra, но вы можете заменить все null S определенного столбца с некоторой постоянной величиной (например 0) с использованием coalesce:

df.show() 
// +---+-----+ 
// | id|value| 
// +---+-----+ 
// | 1| null| 
// | 2| null| 
// +---+-----+ 

df.withColumn("value", coalesce($"value", lit(0.0))).show() 
// +---+-----+ 
// | id|value| 
// +---+-----+ 
// | 1| 0.0| 
// | 2| 0.0| 
// +---+-----+