Эффективная группировка данных в Spark

Question

Мне нужно выполнить простую группировку данных в Spark (Scala). В частности, это мой исходные данные:

1, a, X 
1, b, Y 
2, a, Y 
1, a, Y 

val seqs = Seq((1, "a", "X"),(1, "b", "Y"),(2, "a", "Y"),(1, "a", "Y")) 

Мне нужно сгруппировать его по первому ключу следующим образом:

1, (a, X), (b, Y), (a, Y) 
2, (a, Y) 

Мой первоначальный IDIA был использовать DataFrame и groupBy, но я читал, что это операция очень дорогостоящая и требует полной перестановки всех данных.

Итак, что является менее дорогостоящим вариантом для группировки? Будет дан конкретный пример.

Answer 1

потенциально вы можете сделать что-то вроде этого:

val rdd = sc.parallelize(List((1, "a", "X"),(1, "b", "Y"),(2, "a", "Y"),(1, "a", "Y"))) 
    val mapping = rdd.map(x=>(x._1,List((x._2,x._3)))) 
    val result = mapping.reduceByKey((x,y) => (x ++ y)) 

Это использует reduceByKey, но проблема со всеми сократить процесс, вы должны в конечном итоге с 1 парой ключей значение для каждой группы. Таким образом, в этом случае вам нужно явно преобразовать каждое из ваших значений в списки, поэтому процесс сокращения может затем объединить их.

Вы можете также рассмотреть глядя на combineByKey, который использует внутренний процесс снижения

====== ====== EDIT

Как zero323 отметил, сократить здесь не будет увеличиваться эффективности и наоборот - процесс потеряет оптимизацию groupByKey.