Как экспортировать данные из dataframe в файл databricks

Question

Я делаю прямо сейчас Введение в курс Spark в EdX. Есть ли возможность сохранять данные из Databricks на моем компьютере.

Я задаю этот вопрос, потому что этот курс предоставляет ноутбуки Databricks, которые, вероятно, не будут работать после курса.

В данном ноутбуке ввозится с помощью команды:

log_file_path = 'DBFs: /' + os.path.join ('databricks-наборы данных', 'CS100', 'lab2', «данные -001' , 'apache.access.log.PROJECT')

Я нашел это решение, но он не работает:

df.select ('год', 'модель'). write.format ('com.databricks.spark.csv'). save ('newcars.csv')

Answer 1

Попробуйте это.

df.write.format("com.databricks.spark.csv").save("file:///home/yphani/datacsv") 

Это сохранит файл в Unix Server.

Если вы дадите только/home/yphani/datacsv, он ищет путь на HDFS.

Answer 2

Databricks запускает облачную виртуальную машину и не имеет ни малейшего понятия, где находится локальная машина. Если вы хотите сохранить CSV-результаты DataFrame, вы можете запустить display(df), и есть возможность загрузить результаты.