SPARK: dropDuplicates только в каждом разделе

Question

Я хочу, чтобы dropDuplicates в каждом разделе, а не в полном формате DataFrame.

Возможно ли это с помощью PySpark? Благодарю.

Answer 1

import pyspark.sql.functions as f 
withNoDuplicates = df.withColumn("partitionID", f.spark_partition_id()).dropDuplicates() 

В основном добавить столбец идентификатора раздела с помощью spark_partition_id, а затем сделать отчетливые, он будет рассматривать различные разделы отдельно