Как написать паркетный файл с помощью Spark (pyspark)?

Question

Я довольно новичок в Spark, и я пытаюсь преобразовать Dataframe в файл паркета в Spark, но еще не успел. documentation говорит, что я могу использовать функцию write.parquet для создания файла. Однако, когда я бег сценария он показывает мне: AttributeError: объект «РД» не имеет атрибута «писать»

from pyspark import SparkContext 
sc = SparkContext("local", "Protob Conversion to Parquet ") 

# spark is an existing SparkSession 
df = sc.textFile("/temp/proto_temp.csv") 

# Displays the content of the DataFrame to stdout 
df.write.parquet("/output/proto.parquet") 

Вы знаете, как сделать эту работу?

Искровная версия, которую я использую, - это Spark 2.0.1 для Hadoop 2.7.3.

Answer 1

Ошибка произошла из-за того, что метод textFile от SparkContext возвратил RDD, и мне нужен был DataFrame.

SparkSession имеет SQLContext под капотом. Поэтому мне нужно было использовать DataFrameReader для правильного чтения файла CSV, прежде чем преобразовать его в файл паркета.

spark = SparkSession \ 
    .builder \ 
    .appName("Protob Conversion to Parquet") \ 
    .config("spark.some.config.option", "some-value") \ 
    .getOrCreate() 

# read csv 
df = spark.read.csv("/temp/proto_temp.csv") 

# Displays the content of the DataFrame to stdout 
df.show() 

df.write.parquet("output/proto.parquet")