РДД поиска внутри трансформации

Question

У меня 2 спаренных РД, как показано ниже

RDD1 содержит имя в качестве ключа и почтового индекса в качестве значения:

RDD1 -> РДД ((Ashley, 20171), (йаш, 33613), (Evan, 40217))

RDD2 содержит почтовый индекс в качестве ключа и некоторое случайное число в качестве значения:

RDD2 -> РДД ((20171 , 235523), (33613, 345345345), (40189, 44355217), (40122, 2345235), (40127, 232323424))

мне нужно заменить Почтовые индексы в RDD1 с соответствующими значениями из RDD2. Таким образом, результат будет

RDD3 -> РДД ((Ashley, 235523), (Яш, 345345345), (Evan, 232323424))

Я попытался сделать это, используя метод поиска RDD как ниже, но я получил исключение о том, что преобразования RDD не может быть выполнена внутри другого преобразования RDD

val rdd3 = rdd1.map(x => (x._1, rdd2.lookup(x._2)(0))) 

Answer 1

Йон может просто присоединиться к 2 РДУ по почтовому индексу:

rdd1.map({case (name, zipcode) => (zipcode, name)}) 
    .join(rdd2) 
    .map({case (zipcode, (name, number)) => (name, number)}) 
    .collect() 

Обратите внимание, что это возвратит только записи, имеющие соответствующие zip-коды в rdd1 и rdd2. Если вы хотите установить некоторое количество по умолчанию для записей в rdd1, который не имеет соответствующего почтовый индекс в rdd2, используйте leftOuterJoin InstEd из присоединиться:

rdd1.map({case (name, zipcode) => (zipcode, name)}) 
    .leftOuterJoin(rdd2) 
    .map({case (zipcode, (name, number)) => (name, number.getOrElse(0))}) 
    .collect()