функции обратного вызова с использованием R sparklyr

Question

я надеюсь использовать mapPartitions и уменьшают функцию Спарк (http://spark.apache.org/docs/latest/programming-guide.html), используя sparklyr.

Это легко в pyspark, единственное, что мне нужно использовать, это простой код на языке питона. Я могу просто добавить функции python в качестве функции обратного вызова. Так легко.

Например, в pyspark, я могу использовать эти две функции следующим образом:

mapdata = self.rdd.mapPartitions(mycbfunc1(myparam1)) 
res = mapdata.reduce(mycbfunc2(myparam2)) 

Однако, кажется, что это не представляется возможным в R, например sparklyr библиотека. Я проверил RSpark, но, похоже, это еще один способ запроса/перебора данных в R, и ничего больше.

Я был бы признателен, если бы кто-нибудь дал мне знать, как использовать эти две функции в R, с функциями обратного вызова R.

Answer 1

В SparkR вы можете использовать внутренние функции - следовательно, префикс SparkR::: - выполнить то же самое.

newRdd = SparkR:::toRDD(self)     
mapdata = SparkR:::mapPartitions(newRdd, function(x) { mycbfunc1(x, myparam1)}) 
res = SparkR:::reduce(mapdata, function(x) { mycbfunc2(x, myparam2)}) 

Я считаю, sparklyr интерфейсы только с DataFrame/DataSet API.