Искры 1.5.2: NaN при вычислении stddev

Question

Я получаю NaN при расчете стандартного отклонения (stddev). Это очень простой случай использования, как описано ниже:

val df = Seq(("1",19603176695L),("2", 26438904194L),("3",29640527990L),("4",21034972928L),("5", 23975L)).toDF("v","data") 

Я в STDDEV определенный как UDF:

def stddev(col: Column) = { 
     sqrt(mean(col*col) - mean(col)*mean(col)) 
} 

я получаю NaN, когда я называю UDF, как показано ниже:

df.agg(stddev(col("data")).as("stddev")).show() 

Он производит следующее:

+------+ 
|stddev| 
+------+ 
| NaN| 
+------+ 

Что я делаю неправильно?

Answer 1

С учетом ваших данных, как mean(col*col), так и mean(col)*mean(col) будет больше, чем максимальное значение Long. Вы можете попробовать литье входных столбцов double первый:

df.agg(stddev(col("data").cast("double")).as("stddev")) 

, но в целом это не будет особенно стабильными на очень большом количестве.