Получение значения из DataFrame на основе другого значения столбца (PySpark)

Question

У меня есть Спарк dataframe, который я хочу, чтобы получить статистику

stats_df = df.describe(['mycol']) 
stats_df.show() 

+-------+------------------+ 
|summary|    mycol| 
+-------+------------------+ 
| count|    300| 
| mean|    2243| 
| stddev| 319.419860456123| 
| min|    1400| 
| max|    3100| 
+-------+------------------+ 

Как извлечь значения min и max в mycol с помощью summaryminmax значения столбцов? Как это сделать с помощью индекса чисел?

Answer 1

Хорошо, давайте рассмотрим следующий пример:

from pyspark.sql.functions import rand, randn 
df = sqlContext.range(1, 1000).toDF('mycol') 
df.describe().show() 
# +-------+-----------------+ 
# |summary|   mycol| 
# +-------+-----------------+ 
# | count|    999| 
# | mean|   500.0| 
# | stddev|288.5307609250702| 
# | min|    1| 
# | max|    999| 
# +-------+-----------------+ 

Если вы хотите получить доступ к ряду относительно STDDEV, согласно примеру, вам просто нужно, чтобы преобразовать его в РДУ, собрать его и превратить его в словарь следующим образом:

stats = dict(df.describe().map(lambda r : (r.summary,r.mycol)).collect()) 
print(stats['stddev']) 
# 288.5307609250702 

Answer 2

Вы можете легко назначить переменную из выделенной области данных.

x = stats_df.select('mycol').where('summary' == 'min')