Как изменить размер кучи автономной Master JVM?

Я использую Spark 1.4.0. Моя мастер-вспышка JVM испытала ошибку OOM, поэтому мне хотелось бы увеличить размер кучи мастера. Мне интересно, как правильно его указать?Как изменить размер кучи автономной Master JVM?

Я попытался следующие, но это не удалось, и JVM все еще работает со значением по умолчанию:

spark-env.sh 
export SPARK_MASTER_OPTS="$JAVA_OPTS -Xms1g -Xmx1g"

источник

2015-12-23 Ted Won

Когда вы получаете ошибку OOM при попытке запустить кластер или любое искровое приложение. – Kaushal

Вы используете функцию spark-submit для запуска приложения? Если это так, вы можете установить его с опцией '--driver-memory' –

Использование SPARK_DAEMON_MEMORY для увеличения размера кучи, то есть -Xms и -Xmx варианты. По умолчанию это 1g.

Использовать SPARK_DAEMON_JAVA_OPTS для опций JVM для самих мастеров Spark и рабочих демонов в форме -Dx=y (по умолчанию: нет).

Используйте SPARK_PRINT_LAUNCH_COMMAND, чтобы увидеть всю командную строку для скрипта Spark.

источник

2015-12-24 17:37:30 vimeghan

Как изменить размер кучи автономной Master JVM?

ответ

Смежные вопросы