Как слить два RDD на один RDD

Question

Помогите, у меня есть два RDD, я хочу объединиться с одним RDD. Это мой код.

val us1 = sc.parallelize(Array(("3L"), ("7L"),("5L"),("2L"))) 
val us2 = sc.parallelize(Array(("432L"), ("7123L"),("513L"),("1312L"))) 

Answer 1

Просто используйте союз:

val merged = us1.union(us2) 

Документация here

Shotcut в Scala является:

val merged = us1 ++ us2 

Answer 2

Вам нужен RDD.union Они не присоединиться на ключ. Союз действительно ничего не делает сам по себе, поэтому он накладные. Обратите внимание, что объединенный RDD будет иметь все разделы исходных RDD, поэтому вы можете захотеть объединиться после объединения.

val x = sc.parallelize(Seq((1, 3), (2, 4))) 
val y = sc.parallelize(Seq((3, 5), (4, 7))) 
val z = x.union(y) 
z.collect 
res0: Array[(Int, Int)] = Array((1,3), (2,4), (3,5), (4,7)) 

API

def++(other: RDD[T]): RDD[T] 

Вернуться объединение этого РДУ и другой.

def++ API

def union(other: RDD[T]): RDD[T] 

Вернуться объединение этого РДУ и другой. Любые идентичные элементы появятся несколько раз (используйте для этого исключение .distinct()).

def union API