Регистрация SparkSQL UDF в Java8

Question

Я использую Spark 1.3.0 на Java 8. У меня нет проблем с настройкой моего SQLContext и созданием dataframes, искровой DSL довольно плавный. Но я хочу использовать пользовательский UDF.

Согласно документации искрового: https://spark.apache.org/docs/1.3.0/sql-programming-guide.html#udf-registration-moved-to-sqlcontextudf-java--scala

sqlCtx.udf().register("strLen", (String s) -> { s.length(); });

Если это сделать для регистрации UDF. Но мой IDE (IntelliJ) жалуется:

Cannot resolve method 'register(java.lang.String, <lambda expression>)'

Что я делаю неправильно?

Answer 1

Возможно, документация & документация немного не синхронизирована с этой записью, и я склонен идти с документацией в коде, потому что ее часто там, где разработчик делает обновления. Глядя в JavaUDFSuite, я бы попробовал:

sqlContext.udf().register(
    "stringLengthTest", (String str) -> str.length(), DataTypes.IntegerType);