Как напечатать значение "spark.driver.maxResultSize"?

Question

Я использовал spark-submit запустить мое приложение и установить conf следующим образом:

val conf = new SparkConf(true) 
    .set("spark.cassandra.connection.host","192.168.1.131") 
    .set("spark.cassandra.auth.username","username") 
    .set("spark.cassandra.auth.password","password") 
    .set("spark.driver.maxResultSize", "4G") 
    .set("spark.executor.memory", "4G") 
val sc = new SparkContext("spark://192.168.1.120:7077", "just for fun", conf) 

Я хочу знать, работает ли нормально мои настройки spark.driver.maxResultSize, поэтому я хочу, чтобы напечатать значение, но я не знаю, как это сделать? Любые советы будут оценены!

Answer 1

Это одна линия может помочь вам:

println(conf.get("spark.driver.maxResultSize"))

Однако, было бы более целесообразно проверять состояние искру Свойства таблицу под вкладку окружающей среды на Спарк UI, как только ваш задание.