Permision отказано при использовании pyspark

Question

я получаю следующее сообщение об ошибке при попытке запустить программу pyspark:

/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh: line 2: 
/usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh: Permission denied 
/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh: line 2: 
exec: /usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh: cannot execute: Undefined error: 0 

Я пробовал:

unset SPARK_HOME && spark-submit 

, но затем я получаю другую ошибку:

KeyError: 'SPARK_HOME 

Любая идея, как это исправить? Я бегу Python 2.7 на OSX 10.11

Answer 1

export SPARK_HOME=/path/to/spark/installation 
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$PYTHONPATH 

Выполнение выше на терминале позволяет добавлять SPARK_HOME как переменная окружения, которая позже приложенном к вашему PYTHONPATH.

Answer 2

Проверка разрешений на:

/usr/local/Cellar/apache-spark/2.0.2/libexec/bin/load-spark-env.sh 

У меня была аналогичная проблема, и этот файл был помечен как «только для чтения» для меня (мой идентификатор пользователя) и права исполнения только корень.

Обратите внимание, что при вызове pyspark он перенаправляется на указанный выше сценарий оболочки. Таким образом, вы можете инициировать процесс, но поскольку фактический сценарий оболочки не имеет разрешения «x» для вас - он терпит неудачу.

В качестве альтернативы, sudo -H pyspark также сделает трюк.

Happy Sparking!