pyspark; как уменьшить значениями эффективного

Question

Рассмотрим пару RDD:

x = sc.parallelize([("a", 1), ("b", 1), ("a", 4), ("c", 7)]) 

Есть ли более эффективная альтернатива:

x.map(lambda x: x[1]).reduce(lambda x, y: x+y) 

для того, чтобы найти сумму всех значений

Answer 1

Поскольку x является PairRDD вы можете использовать метод values вместо того, чтобы извлекать значения вручную:

x.values().sum() 

Answer 2

Существует sum метод в RDD API

x.map(lambda x: x[1]).sum() 

sum (self) исходный код

Добавить элементы в этом RDD.

sc.parallelize([1.0, 2.0, 3.0]).sum() 
6.0