искры dataframe reducebykey как операции

Question

У меня есть искра dataframe со следующими данными (я использую искровой CSV для загрузки данных в):

key,value 
1,10 
2,12 
3,0 
1,20 

есть что-либо подобное, чтобы зажечь RDD reduceByKey, который может вернуть искру DataFrame как: (в основном, суммируя для одних и тех же ключевых значений)

key,value 
1,30 
2,12 
3,0 

(я могу преобразовать данные в РДУ и сделать reduceByKey операцию, но есть более Спарк DataFrame API способ сделать это?)

Answer 1

Если вы не заботитесь об именах столбцов, которые можно использовать groupBy с последующим sum:

df.groupBy($"key").sum("value") 

в противном случае лучше заменить sum с agg:

df.groupBy($"key").agg(sum($"value").alias("value")) 

Наконец, вы можете использовать сырые SQL:

df.registerTempTable("df") 
sqlContext.sql("SELECT key, SUM(value) AS value FROM df GROUP BY key")