Спарк, Scala, Streaming Twitter

Question

Я написал сценарий SCALA в Ubuntu домой путь как abc.scala и зашиты все значения OAuth из щебет приложения:

import org.apache.spark.streaming.{Seconds, StreamingContext} 
import org.apache.spark.SparkContext._ 
import org.apache.spark.streaming.twitter._ 
import org.apache.spark.SparkConf 

System.setProperty("twitter4j.oauth.consumerKey", consumerKey) 
System.setProperty("twitter4j.oauth.consumerSecret", consumerSecret) 
System.setProperty("twitter4j.oauth.accessToken", accessToken) 
System.setProperty("twitter4j.oauth.accessTokenSecret", accessTokenSecret) 

val filters="Raj" 
val sparkConf = new SparkConf().setAppName("TwitterPopularTags").setMaster("local[2]") 
val ssc = new StreamingContext(sparkConf, Seconds(2)) 
val stream = TwitterUtils.createStream(ssc, None, filters) 

я исполню это, как

$Spark_bin-2.7> cat abc.scala | ./spark-shell 

Это работает до StreamingContext. Но когда она достигает TwitterUtils, это дает и ошибка чтения таким образом:

Error: not found: TwitterUtils

Я скачал последнюю искру 2.0.1. Можете ли вы указать настройки или документы шаг за шагом?

Answer 1

Добавить org.apache.spark: искровой-потоковый-twitter_2.11: 1.6.1 с искровой скорлупу как

$Spark_bin-2.7> cat abc.scala | ./spark-shell --packages org.apache.spark:spark-streaming-twitter_2.11:1.6.1 

Используйте этот подход

import org.apache.spark.streaming.{Seconds, StreamingContext} 
import org.apache.spark.SparkContext._ 
import org.apache.spark.streaming.twitter._ 
import org.apache.spark.SparkConf 

System.setProperty("twitter4j.oauth.consumerKey", consumerKey) 
System.setProperty("twitter4j.oauth.consumerSecret", consumerSecret) 
System.setProperty("twitter4j.oauth.accessToken", accessToken) 
System.setProperty("twitter4j.oauth.accessTokenSecret", accessTokenSecret) 

sc.stop() 
val filters="Raj" 
val sparkConf = new SparkConf().setAppName("TwitterPopularTags").setMaster("local[2]") 
val sc = new SparkContext(sparkConf) 
val ssc = new StreamingContext(sc, Seconds(2)) 
val stream = TwitterUtils.createStream(ssc, None, filters)