Как соединить два РДА с взаимоисключающими ключами

Question

у меня есть два Spark, РД со следующих значениями

x = [(1, 3), (2, 4)] 

и

y = [(3, 5), (4, 7)] 

, и я хочу, чтобы иметь

z = [(1, 3), (2, 4), (3, 5), (4, 7)] 

Как я могу достичь этого. Я знаю, что вы можете использовать externalJoin, а затем карту, чтобы достичь этого, но есть ли более прямой путь для этого.

Answer 1

rdd.union(otherRDD) дает объединение двух РДУ, как ожидается, в этом вопросе

x.union(y)

Answer 2

Вы можете просто использовать оператор +. В контексте списков это операция конкатенации.

>>> x = [(1, 3), (2, 4)] 
>>> y = [(3, 5), (4, 7)] 
>>> z = x + y 
>>> z 
[(1, 3), (2, 4), (3, 5), (4, 7)]