Каков наиболее эффективный способ в pyspark для сокращения данных?

Question

У меня есть следующие dataframe с двумя первой строки выглядит как:

['station_id', 'country', 'temperature', 'time'] 
['12', 'usa', '22', '12:04:14'] 

Я хочу, чтобы отобразить среднюю температуру порядка 100 первых станций в «Франция» по убыванию.

Каков наилучший способ (наиболее эффективный) сделать это в pyspark?

Answer 1

Мы переводим ваш запрос Spark SQL следующим образом:

from pyspark.sql.functions import mean, desc 

df.filter(df["country"] == "france") \ # only french stations 
    .groupBy("station_id") \ # by station 
    .agg(mean("temperature").alias("average_temp")) \ # calculate average 
    .orderBy(desc("average_temp")) \ # order by average 
    .take(100) # return first 100 rows 

Использование RDD API и анонимные функции:

df.rdd \ 
    .filter(lambda x: x[1] == "france") \ # only french stations 
    .map(lambda x: (x[0], x[2])) \ # select station & temp 
    .mapValues(lambda x: (x, 1)) \ # generate count 
    .reduceByKey(lambda x, y: (x[0]+y[0], x[1]+y[1])) \ # calculate sum & count 
    .mapValues(lambda x: x[0]/x[1]) \ # calculate average 
    .sortBy(lambda x: x[1], ascending = False) \ # sort 
    .take(100)