Файл паркета для преобразования CSV

Question

Я хочу преобразовать файл Parquet в CSV. Есть ли способ для того же, что и я могу найти CSV в файле Parquet, а не наоборот.

Answer 1

DataFrame df = sqlContext.parquetFile("parquet path"); 


    df.javaRDD().saveAsTextFile("outputpath"); 

Answer 2

Это работало для меня при использовании искры 2.1.0. Первый запуск искровой оболочки. Что-то вроде:

./bin/spark-shell 

затем:

val sqlContext = new org.apache.spark.sql.SQLContext(sc) 
val df = sqlContext.parquetFile("parquet-file.parquet") 
df.printSchema() 
df.write.format("csv").save("directory") 

будет создавать CSV-файлы в directory

Answer 3

Это будет просто используя искру и Python:

for filename in glob.glob("[location_of_parquet_file]/*.snappy.parquet"): 
     print filename 
     df = sqlContext.read.parquet(filename) 
     df.write.csv("[destination]") 
     print "csv generated" 

Answer 4

Это работало меня в искры

spark-shell --packages com.databricks:spark-csv_2.11:1.2.0 
val df = sqlContext.parquetFile("/hdfs/source.parquet") 
df.printSchema() 
df.write.format("com.databricks.spark.csv").save("/hdfs/target_csv")