Spark two RDD join issue

Question

У меня есть два RDD.

moviesRDD =[(1,'monster'),(2,'minions 3D'),...] #(movieID,title) 
ratingsRDD =[(1,(3,4)),(2,(4,5)),.....] #(movieID,(numbersofrating,avg_rating)) 

Идеальные результаты есть:

newRDD =[(3,'monster',4),(4,'minions 3D',5),....] #(numbersofrating,title,avg_rating) 

Я не уверен, как получить newRDDs.

Answer 1

Это должно сделать трюк:

(moviesRDD 
    .join(ratingsRDD) # Join by key 
    .values() # Extract values 
    .map(lambda x: (x[1][0], x[0], x[1][1]))) # Reshape