Spark Fold vs Уменьшить производительность?

Question

В большом задании обработки данных функция «fold» имеет более низкую вычислительную производительность по сравнению с функцией «уменьшить»?

Например, у меня есть следующие две функции:

array1.indices.zip(array1).map(x => x._1 * x._2).reduce(_ + _) 

    array1.indices.zip(array1).map(x => x._1 * x._2).fold(0.0) {_ + _} 

array1 очень огромный массив рдд. эта функция имеет более высокую вычислительную производительность, дающую ту же настройку кластеризации.

Answer 1

Это действительно same as the one pointed out by muhuk в кишках реализации Спарк просто призыв к iterator

fold из источника:

(iter: Iterator[T]) => iter.fold(zeroValue)(cleanOp) 

reduce из источника:

iter => 
    if (iter.hasNext)Some(iter.reduceLeft(cleanF)) 
    else None 

Так , это в первую очередь просто призыв к реализациям scala.