Глобальный последовательный доступ Apache Spark RDD

Question

Я хочу реализовать некоторый последовательный алгоритм на RDD.

Например:

val conf = new SparkConf() 
conf.setMaster("local[2]"). 
    setAppName("SequentialSuite") 
val sc = new SparkContext(conf) 
val rdd = sc. 
    parallelize(Array(1, 3, 2, 7, 1, 4, 2, 5, 1, 8, 9), 2). 
    sortBy(x => x, true) 
rdd.foreach(println) 

Я хочу видеть заказанный номер на моем экране, но это показывает, неупорядоченные целые числа. Эти два раздела одновременно выполняют команду println.

Как сделать RDD выполнять функцию глобально последовательной?

Answer 1

Я нашел ответ в соответствии с Spark: Best practice for retrieving big data from RDD to local machine:

val rdd : RDD[Int] = sc.parallelize(Array(1, 3, 2, 7, 1, 4, 2, 5, 1, 8, 9)).sortBy(x => x, true) 
for(p <- rdd.partitions) { 
    val partrdd = rdd.mapPartitionsWithIndex((i : Int, iter : Iterator[Int]) => if (i == p.index) iter else Iterator(), true) 
    partrdd.foreach(println) 
}