Я только что начал с Spark. У меня установлен CDH5 с помощью Spark. Однако, когда я пытаюсь использовать sparkcontext него дает ошибку, как показано нижеИскры: Ошибка Не найдено значение SC
<console>:17: error: not found: value sc
val distdata = sc.parallelize(data)
Я исследовал об этом и нашел error: not found: value sc
и попытался начать контекст искрового с ./spark-shell. Это дает ошибку No such File or Directory
Вы можете начать spark-shell начиная с ./, если вы находитесь в его точном каталоге или path/to/spark-shell, если вы в другом месте.
Кроме того, если вы используете скрипт с spark-submit, вам необходимо инициализировать sc, как SparkContext первый:
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
Добавить искровой каталог в пути, то вы можете использовать свечу-оболочку из любой точки мира.
Добавить import org.apache.spark.SparkContext, если вы используете его в искровой представить работу, чтобы создать контекст искры с помощью:
val sc = new SparkContext(conf)
где конф уже определен.
Запуск нового терминала устраняет проблему в моем случае.
Спасибо. Я точно повторил все эти шаги. Тем не менее он дает ту же ошибку. –
Вы уверены, что задаете правильный путь к 'spark-shell'? Это не в вашей системе '/ bin' по умолчанию, вы должны выполнить ее как'/path/to/spark-shell' – Nhor
Это то, что я делал. val data = Array (1, 2, 3, 4, 5) val distData = sc.parallelize (data). Также как я могу найти путь к искровой оболочке? –