Настройка количества ядер, используемых в скрипте PySpark?

Question

Я хотел бы знать, как установить количество ядер, которые будут использоваться в программе PySpark.

Я занимаюсь поиском и не смог найти окончательного ответа.

Answer 1

Свойство --executor-cores можно указать, чтобы указать количество ядер, которые будут использоваться при подаче приложения с помощью функции spark-submit.

Ниже приведен пример:

./bin/spark-submit --class org.apache.spark.examples.SparkPi \ 
    --master yarn-cluster \ 
    --num-executors 3 \ 
    --driver-memory 4g \ 
    --executor-memory 2g \ 
    --executor-cores 1 
    lib/spark-examples*.jar \ 
    10 

Answer 2

Вы можете установить его с помощью --executor-ядер с искровым отправить или установить его с помощью sc.setExecutorEnv (= нет, значение = нет, пар = Отсутствует ключ) в коде он сам.