переменные окружения настройки из питона кода для искры

Question

Я установить переменные окружения в Mac OS для запуска pyspark

export SPARK_HOME=/Users/devesh/Downloads/spark-1.5.1-bin-hadoop2.6 

export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH 

export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH 

Приведенные выше строки делает работу для меня.

Я пытаюсь повторить эти команды в питона, используя следующие строки кода Python

os.environ['SPARK_HOME']="/Users/devesh/Downloads/spark-1.5.1-bin-hadoop2.6" 
spark_home=os.environ.get('SPARK_HOME',None) 

sys.path.append("/Users/devesh/Downloads/spark-1.5.1-bin-hadoop2.6/python/") 

sys.path.insert(0,os.path.join(spark_home,'py4j-0.8.2.1-src.zip')) 

, но он не работает. Скажите, пожалуйста, что я делаю неправильно?

Answer 1

Последняя строка питона кода:

sys.path.insert(0,os.path.join(spark_home,'py4j-0.8.2.1-src.zip')) 

несовместима с вашим кодом оболочки. Вы можете изменить его на:

sys.path.insert(0,os.path.join(spark_home,'python','lib','py4j-0.8.2.1-src.zip'))