Эффективная группировка по ключу и StatCounter

Question

Я собираю значения по параметру, как показано ниже, используя apache-spark и scala. Это добавляет значения в «Список» . Есть ли более эффективный способ получить список по ключу и StatCounter?

val predictorRawKey = predictorRaw.map { x => 
     val param = x._1 
     val val: Double = x._2.toDouble 
     (param, val) 
    }.mapValues(num => List(num)) 
    .reduceByKey((l1, l2) => l1 ::: l2) 
    .map { x => x._1, StatCounter(x._2.iterator)) 

Answer 1

Для начала вы не должны использовать reduceByKey для группировки значений. Более эффективно опускать агрегацию на стороне карты и напрямую использовать groupByKey.

К счастью StatCounter может работать в потоковом режиме, и нет никакой необходимости групповые ценности вообще:

import org.apache.spark.util.StatCounter 

val pairs = predictorRawKey.map(x => (x._1, x._2.toDouble)) 

val predictorRawKey = pairs.aggregateByKey(StatCounter(Nil))(
    (acc: StatCounter, x: Double) => acc.merge(x), 
    (acc1: StatCounter, acc2: StatCounter) => acc1.merge(acc2) 
)