В SparkR (spark-1.4.0) Я хочу использовать функцию date_add. https://spark.apache.org/docs/latest/api/R/Невозможно использовать функцию date_add в sparkR
Но когда я печатаю его в SparkR, это говорит о том, что функции не существует. Как это и как я могу получить?
С документацией, которую вы указали для версии 1.5.2. Возможно, ваша версия может еще не иметь эту функцию. Согласно приведенным ниже комментариям вам потребуется обновить Spark и SparkR.
В 1.4.0 он может быть вызван с использованием сырого SQL:
library(magrittr)
hiveContext <- sparkRHive.init(sc)
df <- createDataFrame(hiveContext, data.frame(ts=c("2015-12-01"))) %>%
select(alias(cast(.$ts, "date"), "ts"))
df %>% selectExpr("ts", "date_add(ts, 1) AS next_day") %>% head
## ts next_day
## 1 2015-12-01 2015-12-02
Когда я набираю hiveContext <- sparkRHive.init (sc) Я получаю это сообщение: «Ошибка: Spark SQL не построен с поддержкой Hive». –
http://spark.apache.org/docs/latest/building-spark.html#building-with-hive-and-jdbc-support – zero323
Есть быстрый способ обновить sparkR, так что я могу получить эту версию? –
@OlePetersen использует [источник] (https://github.com/apache/spark/tree/master/R/pkg). –
@ RomanLuštrik Не так просто - версия SparkR должна соответствовать версии Spark - проще установить новую версию Spark вообще – desertnaut