нельзя использовать Vector от искрового ML Lib для DataFrame

Question

Когда я пытаюсь использовать пользовательскую функцию, которая возвращает объект вектор, Спарк бросает следующее исключение:

Cause: java.lang.UnsupportedOperationException: Not supported DataType: org.apache.spark.mllib.linalg.VectorUDT@f71b0bce 

Как я могу использовать вектор в моей UDF, ? Версия Spark - 1.5.1.

UPD

val dataFrame: DataFrame = sqlContext.createDataFrame(Seq(
    (0, 1, 2), 
    (0, 3, 4), 
    (0, 5, 6) 
)).toDF("key", "a", "b") 

val someUdf = udf { 
    (a: Double, b: Double) => Vectors.dense(a, b) 
} 

dataFrame.groupBy(col("key")) 
    .agg(someUdf(avg("a"), avg("b"))) 

Answer 1

Там нет ничего плохого с UDF таковой. Похоже, вы получаете исключение, потому что вы вызываете его внутри метода agg для агрегатных столбцов. Чтобы заставить его работать, вы можете просто нажать его снаружи agg шаг:

dataFrame 
    .groupBy($"key") 
    .agg(avg($"a").alias("a"), avg($"b").alias("b")) 
    .select($"key", someUdf($"a", $"b"))