Ошибка при создании StreamingContext

Question

Я открываю свечу скорлупу

spark-shell --packages org.apache.spark:spark-streaming-kafka_2.10:1.6.0 

Тогда я хочу, чтобы создать контекст потокового

import org.apache.spark._ 
import org.apache.spark.streaming._ 


val conf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount").set("spark.driver.allowMultipleContexts", "true") 
val ssc = new StreamingContext(conf, Seconds(1)) 

Я бегу в исключение:

org.apache.spark.SparkException: Only one SparkContext may be running in this JVM (see SPARK-2243). To ignore this error, set spark.driver.allowMultipleContexts = true. The currently running SparkContext was created at: 

Answer 1

Когда ты откройте искровую оболочку, уже создан потоковый контекст. Он называется sc, что означает, что вам не нужно создавать объект configure. Просто используйте существующий объект sc.

val ssc = new StreamingContext(sc,Seconds(1)) 

вместо вар мы будем использовать вал