Укажите параметры jvm, запущенного pyspark

Question

Как и где jvm-параметры, используемые сценарием pyspark при запуске jvm, который он подключает к указанному?

Я определенно интересую только опцию jvm для отладки, например.

-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005 

Спасибо.

Answer 1

pyspark использует сценарий bin/spark-class, чтобы запустить клиент, который вы видите в своем терминале/консоли. Вы можете просто добавить любые варианты, необходимые для JAVA_OPTS:

JAVA_OPTS="$JAVA_OPTS -Xmx=2g -Xms=1g -agentlib:jdwp=transport=dt_socket,server=y..."