Запуск Spark с дополнительным параметром через Zeppelin

Question

I wand Zeppelin для запуска Spark с парами дополнительных параметров (--total-executor-core 200 --executor-memory 20g --driver-memory 5g) Я пытаюсь добавить эти параметры в искровой интерпретатор через интерфейс Zeppelin. Я нажимаю кнопку «Редактировать» и добавляю эти три параметра, но когда я нажимаю «Сохранить», они исчезают, и я вижу, что мой Spark был запущен Zeppelin без этих параметров.

Можете ли вы дать мне совет, как я могу попросить Zeppelin запустить Spark с дополнительными параметрами?

Answer 1

Посмотрите на conf/zeppelin-env.sh (или conf/zeppelin-env.sh.template). В комментариях к этому файлу в разделе «Конфигурации интерпретатора искры»:

# export SPARK_SUBMIT_OPTIONS     # (optional) extra options to pass to spark submit. eg) "--driver-memory 512M --executor-memory 1G".