Изменение пути Python в CDH для pyspark

Question

Мне нужно изменить питон, который используется с моим кластером CDH5.5.1. В моих исследованиях я указал, чтобы установить PYSPARK_PYTHON в spark-env.sh. Я пробовал это вручную без успеха. Затем я использовал Cloudera Manager, чтобы установить переменную как в «Искупировании расширенной конфигурации Spark Service Environment», так и в «Обзоре расширенной конфигурации Spark Service» & о повсюду, ссылающемся на spark-env-sh. Это не сработало, и я теряюсь, куда идти дальше.

Answer 1

Вам нужно добавить переменную PYSPARK_PYTHON конфигурации ПРЯЖИ: YARN (MR2 Included) Service Environment Advanced Configuration Snippet (Safety Valve) ли это, перезапустить кластер, и вы хорошо идти.