Спарк Streaming StreamingContext ошибка

Question

Привет я начал искру потоковое обучение, но я не могу запустить простое приложение Мой код здесь

import org.apache.spark._ 
    import org.apache.spark.streaming._ 
    import org.apache.spark.streaming.StreamingContext._ 
    val conf = new SparkConf().setMaster("spark://beyhan:7077").setAppName("NetworkWordCount") 
    val ssc = new StreamingContext(conf, Seconds(1)) 
    val lines = ssc.socketTextStream("localhost", 9999) 
    val words = lines.flatMap(_.split(" ")) 

И я получаю сообщение об ошибке, как в следующем

scala> val newscc = new StreamingContext(conf, Seconds(1)) 
15/10/21 13:41:18 WARN SparkContext: Another SparkContext is being constructed (or threw an exception in its constructor). This may indicate an error, since only one SparkContext may be running in this JVM (see SPARK-2243). The other SparkContext was created at: 

Спасибо

Answer 1

Если вы используете искровую оболочку, и кажется, что вы это делаете, вы не должны создавать экземпляр StreamingContext, используя SparkConf, вы должны передать оболочку sc напрямую.

Это означает:

val conf = new SparkConf().setMaster("spark://beyhan:7077").setAppName("NetworkWordCount") 
val ssc = new StreamingContext(conf, Seconds(1)) 

становится

val ssc = new StreamingContext(sc, Seconds(1)) 

Answer 2

Похоже, вы работаете в Спарк Shell. Здесь уже определен SparkContext, поэтому вам не нужно создавать новый. SparkContext в оболочке доступен как sc

Если вам нужен StreamingContext можно создать, используя существующую SparkContext:

val ssc = new StreamingContext(sc, Seconds(1)) 

Вам нужно только SparkConf и SparkContext, если вы создаете приложение.