Как передать аргумент функции, переданной в mapPartitions?

Question

Я пытаюсь использовать функцию mapPartitions вместо использования map, проблема в том, что я хочу передать Array в качестве аргумента, но mapPartitions не принимает Array в качестве аргумента. Как передать массив в качестве аргумента?

mapPartitions[U: ClassTag](
    f: Iterator[T] => Iterator[U], preservesPartitioning: Boolean = false) 

Answer 1

Это не ясно, что вы спрашиваете, так что я собираюсь предположить, что у вас есть функция, которая выглядит более или менее, как это:

def foo(iter: Iterator[T], xs: Array[V]): Iterator[U] = ??? 

и вы хотите передать его mapPartitions ,

У вас есть три варианта:

1. Использование анонимной функции:

   val xs: Array[V] = ??? 
   val rdd: RDD[U] = ??? 
   
   rdd.mapPartitions(iter => foo(iter, xs)) 
   

2. Rewrite foo для поддержки карринг:

   def foo(xs: Array[V])(iter: Iterator[T]): Iterator[U] = ??? // Rest as before 
   
   rdd.mapPartitions(foo(xs)) 
   

3. Карри foo так:

   val bar = (iter: Iterator[T]) => foo(iter, xs)) 
   
   rdd.mapPartitions(bar)