Pyspark: отображение кадра искры данных в табличном формате

Question

Я использую pyspark читать паркетный файл, как показано ниже:

my_df = sqlContext.read.parquet('hdfs://myPath/myDB.db/myTable/**') 

Тогда, когда я my_df.take(5), он будет показывать [Row(...)], вместо формата таблица, как когда мы используем кадр данных pandas.

Можно ли отобразить фрейм данных в формате таблицы, таком как рамка данных pandas? Благодаря!

Answer 1

Метод show делает то, что вы ищете.

Например, с учетом следующих dataframe из 3-х строк, можно напечатать только первые две строки следующим образом:

df = sqlContext.createDataFrame([("foo", 1), ("bar", 2), ("baz", 3)], ('k', 'v')) 
df.show(n=2) 

, который дает:

+---+---+ 
| k| v| 
+---+---+ 
|foo| 1| 
|bar| 2| 
+---+---+ 
only showing top 2 rows 

Answer 2

Да: позвоните по методу toPandas на вашей информационной карте, и вы получите pandas dataframe!