Как получить положение элемента в RDD Spark?

Question

Я новичок в Apache Spark, и я знаю, что основная структура данных - это RDD. Теперь я пишу некоторые приложения, для которых требуется информация о позициях элемента. Например, после преобразования ArrayList в RDD (Java) для каждого целого в RDD мне нужно знать его (глобальный) индекс массива. Можно ли это сделать?

Как я знаю, существует функция take (int) для RDD, поэтому я считаю, что позиционная информация сохраняется в RDD.

Answer 1

По существу, метод zipWithIndex() RDD, похоже, делает это, но он не сохранит первоначальный порядок данных, из которых был создан RDD. По крайней мере, вы получите стабильный заказ.

val orig: RDD[String] = ... 
val indexed: RDD[(String, Long)] = orig.zipWithIndex() 

Причина вы вряд ли найдете что-то, что сохраняет порядок в исходных данных, утопает в API док для zipWithIndex():

«Молнии это РДД с его индексами элементов. Сначала упорядочение основано на на индексе раздела, а затем на упорядочении позиций в каждом разделе . Таким образом, первый элемент в первом разделе получает индекс 0, а последний элемент последнего раздела получает наибольший индекс. Этот номер похож на zipWithIndex от Scala, но использует Long вместо In t как тип индекса. Этот метод требует, чтобы вызвать искру работу, когда это РДД содержит более одного раздел.»

Так выглядит исходный порядок отбрасывается. Если сохранение первоначального порядка является важным для вас, это выглядит, как вам нужно добавить индекс перед тем вы создаете RDD.

Answer 2

Я считаю, в большинстве случаев, zipWithIndex() будет делать трюк, и он будет сохранять порядок. перечитал комментарии. Я понимаю, что это точно означает держать порядок в RDD.

scala> val r1 = sc.parallelize(List("a", "b", "c", "d", "e", "f", "g"), 3) 
scala> val r2 = r1.zipWithIndex 
scala> r2.foreach(println) 
(c,2) 
(d,3) 
(e,4) 
(f,5) 
(g,6) 
(a,0) 
(b,1) 

Вышеприведённый пример. Красный имеет 3 раздела и a с индексом 0, b с индексом 1 и т. Д.