Извлечение элементов из списка в пределах РДУ

Question

У меня есть RDD формы

RDD[(String, String, String)] 

я применяю функцию, которая извлекает данные из третьего элемента и создает РДД формы

RDD[(String, String, List[String])] 

Я хотел бы создать окончательный RDD, где каждый элемент списка сопоставляется с первыми двумя элементами. Что-то вроде,

RDD[(String, String, String)] = RDD[(String, String, List[String])].map(case(x, y, z) => (x, y, z._1), (x, y, z._2), ....)) 

Есть ли простой способ сделать это?

Answer 1

Я считаю, что это должен делать то, что вы ищете

val newRDD = listRDD.flatMap{case(x, y, z) => z.map((x,y,_))} 

Answer 2

Кажется, что вы ищете flatMap или flatMapValues ​​(в зависимости от трансформации):

def flatMap[U](f: (T) ⇒ TraversableOnce[U])(implicit arg0: ClassTag[U]): RDD[U] 

flatMap: Возвращают новый RDD от первого применения функции ко всем элементам этого РД, а затем уплощение результатов ,

def flatMapValues[U](f: (V) ⇒ TraversableOnce[U]): RDD[(K, U)] 

flatMapValues: Pass каждое значение в паре ключ-значение РДД с помощью функции flatMap, не меняя клавиши; это также сохраняет исходное разделение RDD.