SparkConf не читает искру-представить аргументы

Question

SparkConf на pyspark не читает аргументы конфигурации, переданные в spark-submit.

Мой питон код что-то вроде

from pyspark import SparkContext, SparkConf 

conf = SparkConf().setAppName("foo") 
sc = SparkContext(conf=conf) 

# processing code... 

sc.stop() 

и я представить его с

PYSPARK_PYTHON="/opt/anaconda/bin/python" spark-submit foo.py \ 
--master local[4] --conf="spark.driver.memory=16g" --executor-memory 16g 

, но ни один из аргументов конфигурации не применяются. То есть приложение выполняется со значениями по умолчанию local [*] для master, 1g для памяти драйвера и 1g для памяти исполнителей. Это было подтверждено графическим интерфейсом Spark.

Однако аргументы конфигурации следуют, если я использую pyspark подать заявку:

PYSPARK_PYTHON="/opt/anaconda/bin/python" pyspark --master local[4] \ 
--conf="spark.driver.memory=8g" 

Обратите внимание, что --executor-memory 16g был также изменен на --conf="spark.executor.memory=16g", потому что первый не работает.

Что я делаю неправильно?

Answer 1

Видимо, порядок аргументов имеет значение. Последним аргументом должно быть имя скрипта python. Таким образом, вызов должен быть

PYSPARK_PYTHON="/opt/anaconda/bin/python" spark-submit foo.py \ 
    --master local[4] --conf="spark.driver.memory=16g" --executor-memory 16g 

или, следуя @ Глени-Helles-sindholt посоветуйте, в

PYSPARK_PYTHON="/opt/anaconda/bin/python" spark-submit foo.py \ 
    --master local[4] --driver-memory 16g --executor-memory 16g 

Answer 2

Я считаю, что вам необходимо удалить = с --conf=. Ваш spark-submit сценарий должен быть

PYSPARK_PYTHON="/opt/anaconda/bin/python" spark-submit foo.py \ 
--master local[4] --conf spark.driver.memory=16g --executor-memory 16g 

Обратите внимание, что искровым представить также поддерживает установку памяти водителя с флагом --driver-memory 16G