SparkSession и контекст путаница

Question

У меня есть сценарий pyspark 2.0.0 со следующей сессии определено:

spark = SparkSession \ 
    .builder \ 
    .appName("Python Spark") \ 
    .master("local[*]")\ 
    .config("spark.some.config.option", "some-value") \ 
    .getOrCreate() 

Я обученной модели случайных лесов, и я хочу, чтобы сохранить его. Поэтому я звоню следующий метод:

model_rf.save(spark, "/home/Desktop") 

но выдает следующее сообщение об ошибке компиляции:

TypeError: sc should be a SparkContext, got type <class 'pyspark.sql.session.SparkSession'> 

, когда я определяю контекст Спарк, например, так:

from pyspark import SparkContext 
sc =SparkContext() 
model_rf.save(sc, "/home/Desktop") 

я получаю ошибка:

Cannot run multiple SparkContexts at once; existing SparkContext(app=Python Spark, master=local[*]) created by getOrCreate at <ipython-input-1-c5f83810f880>:24 

Answer 1

Использование spark.sparkContext (SparkSession объект будет иметь sparkContext)

model_rf.save(spark.sparkContext, "/home/Desktop")