KeyError: 'SPARK_HOME' в pyspark

Question

, когда я пытаюсь:

from pyspark import SparkContext, SparkConf 
sc=SparkContext() 

я получаю:

KeyError: 'SPARK_HOME' 

Что такое решение?

Answer 1

pyspark опирается на spark SDK. Это необходимо установить перед использованием pyspark.

После этого вам необходимо установить переменную окружения SPARK_HOME, чтобы сообщить pyspark, где искать свою установку spark. Если вы на системе NIX * Вы можете сделать это, добавив последующие к вашему .bashrc

export SPARK_HOME=<location of spark install> 

Если вы используете Windows, есть извилистый путь установки переменных с помощью графического интерфейса here. Через DOS вы можете использовать set в месте export:

SET SPARK_HOME=<location of spark install>