У меня проблема в pyspark. Я выполнил только эти строки Спарк с использованием pyspark, как указано ниже, это дает мне следующую ошибку,код с помощью Spark on pyspark
>>> text_file=sc.textFile("/Users/Aroon/spark/Scala/word")
Traceback (most recent call last): File "", line 1, in NameError: name 'sc' is not defined.
Сообщение об ошибке довольно четко говорится о том, что sparkContext не создается на переменной СБН. Это автоматически получило бы создание, если вы находитесь в оболочке pyspark. Поскольку это не так, я предсказываю, что вы запускаете его через spark-submit. В этом случае добавьте ниже код плиты котла, чтобы запустить ваш скрипт.
from pyspark import SparkContext
sc = SparkContext(appName="Scalaword")
Дополнительная информация о том, что у вас есть, поможет вам лучше.
Ошибка говорит, что «sc» не определен, что вполне понятно. Возможно, вы могли бы показать нам больше своего кода, чтобы мы могли вам помочь. –