не найдено: значение UDF ошибки

Question

У меня есть UDF, определенный в моем коде следующим образом:

val toOriginalTimestamp = udf((timestamp: String) => timestamp.substring(0, 18)) 

Я пытаюсь взять подстроку поля временной метки в моем наборе данных. Однако я получаю ошибку, если не найден: значение udf

Что я делаю неправильно?

Answer 1

Вы, вероятно, нужно это один:

import org.apache.spark.sql.functions.udf 

Кроме того, убедитесь, что вы используете свечи-SQL (не только искровым ядро!) 1.3 или выше зависимостей.