Атрибут столбца после groupBy в pyspark

Question

Мне нужен результирующий фрейм данных в строке ниже, чтобы иметь псевдоним «maxDiff» для столбца max ('diff') после groupBy. Однако нижняя строка не меняет никаких изменений и не выдает ошибку.

grpdf = joined_df.groupBy(temp1.datestamp).max('diff').alias("maxDiff") 

Answer 1

Это потому, что вы альясинг всего DataFrame объекта, не Column. Вот пример того, как псевдоним Column только:

import pyspark.sql.functions as func 

grpdf = joined_df \ 
    .groupBy(temp1.datestamp) \ 
    .max('diff') \ 
    .select(func.col("max(diff)").alias("maxDiff")) 

Answer 2

Вы можете использовать agg вместо вызова max метод:

from pyspark.sql.functions import max 

joined_df.groupBy(temp1.datestamp).agg(max("diff").alias("maxDiff")) 

Answer 3

В дополнение к ответам уже здесь, также следующее удобные способы, если вам знать имя агрегированного столбца, где вам не придется импортировать из pyspark.sql.functions:

grouped_df = joined_df.groupBy(temp1.datestamp) \ 
         .max('diff') \ 
         .selectExpr('max(diff) AS maxDiff') 

См docs для получения информации о .selectExpr()

grouped_df = joined_df.groupBy(temp1.datestamp) \ 
         .max('diff') \ 
         .withColumnRenamed('max(diff)', 'maxDiff') 

См docs для получения информации о .withColumnRenamed()

Этот ответ здесь идет более подробно: https://stackoverflow.com/a/34077809