Получение данных для роста FP в pyspark

Question

Я пытаюсь реализовать FP growth algorith. У меня есть данные в следующем формате:

Food  rank 
apple  1 
caterpillar 1 
banana  2 
monkey  2 
dog   3 
bone  3 
oath  3 

Как превратить его в [[apple,caterpillar],[banana,monkey],[dog,bone,oath]]?

Answer 1

Если предположить, что данные является DataFrame, мы сначала преобразовать его в rdd, а затем определить key «S, использовать их, чтобы сгруппировать данные и, наконец, map эти значения в list и извлечь их. Мы можем сделать это двумя способами, либо использовать groupByKey():

(df.rdd 
.map(lambda x: (x[1],x[0])) 
.groupByKey() 
.mapValues(list) 
.values()) 

Или использовать reduceByKey(), которая собирается быть более эффективным:

(df.rdd 
.map(lambda x: (x[1],[x[0]])) 
.reduceByKey(lambda x,y: x+y) 
.values()) 

данных:

df = sc.parallelize([("apple", 1), 
        ("caterpillar", 1), 
        ("banana", 2), 
        ("monkey", 2), 
        ("dog", 3), 
        ("bone", 3), 
        ("oath", 3)]).toDF(["Food", "rank"])