Разница в spark или конфликты между setMaster в app conf и --master flag on sparkSubmit

Question

Я пытаюсь понять важность установки свойства master при запуске искрового приложения.

Расположение кластера находится в порту по умолчанию 7077. Я запускаю это приложение из тестовой машины, где он попадает в ведро s3.

В настоящее время конфигурация искру в приложении гласит:

val sparkConf = new SparkConf() 
.setMaster("spark://127.0.0.1:7077") 

, но я также установив флаг в командной строке с искрой представить:

--master spark://127.0.0.1:7077 

Так же имея оба этих набора вызвать проблемы? Кто-то получает от другого? Они оба необходимы?

Answer 1

Итак, имеет ли оба этих набора проблемы? Получается ли переопределяется другим? Они оба необходимы?

Spark Configuration страница очень ясно (курсив мой):

Любые значения, указанные в качестве флагов или в свойствах файла будет передан к применению и слита с указанными через SparkConf. Свойства, установленные непосредственно на SparkConf, имеют наивысший приоритет, затем флаги передаются в исходную или искровую оболочку, затем в файле spark-defaults.conf. Несколько ключей конфигурации имеют , которые были переименованы с более ранних версий Spark; в таких случаях старые имена по-прежнему принимаются, но имеют меньший приоритет, чем любой экземпляр нового ключа.