SparkContext не найден на windows7

Question

меня установить искры для pyspark, используя метод, упомянутый в этой ссылке ..

http://nishutayaltech.blogspot.in/2015/04/how-to-run-apache-spark-on-windows7-in.html

Теперь я создаю pyspark и пытается использовать «SC» variable.But я получаю ниже ошибки.

Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
NameError: name 'sc' is not defined 

Я попытался ниже переменных

from pyspark import SparkContext 
SparkContext.setSystemProperty('spark.executor.memory', '2g') 
sc = SparkContext("local", "App Name") 

ошибки я получаю:

Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
    File "D:\BIGDATA\spark-2.1.0-bin-hadoop2.7\python\pyspark\context.py", line 115, in __init__ 
    SparkContext._ensure_initialized(self, gateway=gateway, conf=conf) 
    File "D:\BIGDATA\spark-2.1.0-bin-hadoop2.7\python\pyspark\context.py", line 272, in _ensure_initialized 
    callsite.function, callsite.file, callsite.linenum)) 
ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[*]) created by getOrCreate at D:\BIGDATA\spark-2.1.0-bin-hadoop2.7\bin\..\python\pyspark\shell.py:43 

Answer 1

Что касается следующей ошибки:

ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[*]) created by getOrCreate at D:\BIGDATA\spark-2.1.0-bin-hadoop2.7\bin..\python\pyspark\shell.py:43

Источника этой ошибки представляется прежним SparkContext, который не был остановлен.

Выполнение sc.stop() перед попыткой создать другой SparkContext должен решить ошибку multiple SparkContexts.

Некоторые дополнительные ссылки для установки искру на ОС Windows (из моего опыта, некоторые инструкции отсутствуют некоторые детали):

• Я использовал этот ответ, когда я установил искру на моем Windows7: https://stackoverflow.com/a/38735202/5088142

• https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-tips-and-tricks-running-spark-windows.html

• https://www.linkedin.com/pulse/how-build-apache-spark-windows-step-anuj-bhatnagar