Как создать это искровое соединение

Question

Мне нужно присоединиться к двум большим RDD и потенциально дважды. Любая помощь приветствуется для разработки этих объединений.

• Вот проблема,

• Первый РДД является productIdA, productIdB, similarity и размер около 100G.

• Второй RDD - customerId, productId, boughtPrice и размер около 35G.

• Результат RDD Я хочу productIdA, productIdB, similarity, customerIds bought both product A and B.

• Потому что я не могу транслировать либо из РДА, так как они довольно большие, мой дизайн агрегировать второй RDD по product id затем присоединиться к первому RDD twice но я получаю огромный разлив в случайном порядке и все виды ошибок (ООМ или из космоса из-за перетасовки). Отложите ошибки в сторону, я хотел бы знать, есть ли лучший способ добиться того же результата. Спасибо

Answer 1

У вас есть строка для каждого сопряжения продуктов в первом RDD?

Если вы сделаете (или это близко), то вы можете сделать что-то вроде группы второго RDD на customerId, создать элемент для каждого спаривания, затем изменить и сгруппировать этот RDD путем сопряжения, затем сгруппировать, чтобы получить список от customerId s, затем присоединитесь, чтобы добавить в similarity.

(ли это приведет к более или менее математике зависит, я думаю, о распределении количества продуктов, купленных на клиента.)

Как комментарий zero323 также подразумевает, как только вы жеребьевку из группировки на customerId, было бы дешевле пересчитать similarity, чем присоединиться к огромному набору данных.