Как передать вывод одной функции другой в Spark

Question

Я посылаю вывод одной функции, которая является dataframe для другой функции.

val df1 = fun1 
val df11 = df1.collect 
val df2 = df11.map(x =fun2(x,df3)) 

Выше 2 строки являются главными функциями. Df1 очень большой, поэтому, если я собираюсь на драйвере, он дает выход из памяти или gc. Какие r способов отправить вывод одной функции другой в искру?

Answer 1

Spark может выполнять обработку данных для вас. Вам не нужен шаг промежуточного сбора. Вы должны просто объединить все преобразования вместе, а затем добавить действие в конце, чтобы сохранить полученные данные на диск.

Вызов collect() полезен только для отладки очень небольших результатов.

Например, вы могли бы сделать что-то вроде этого:

rdd.map(x => fun1(x)) 
    .map(y => fun2(y)) 
    .saveAsObjectFile(); 

Эта статья может быть полезна, чтобы объяснить подробнее об этом:

http://www.agildata.com/apache-spark-rdd-vs-dataframe-vs-dataset/