Как выполнить потоковую передачу данных Twitter через Apache Spark Streaming?

-1

Как выполнить потоковую передачу данных Twitter через Apache Spark Streaming?Как выполнить потоковую передачу данных Twitter через Apache Spark Streaming?

Раньше я извлекал данные twitter через флюс и хранился в HDFS, где я настраивал учетные данные для входа в твиттер в conf.txt.

Но теперь застрял в получении данных twitter через Apache Spark Streaming.

Проблема с размещением щебет учетные данные .. Пожалуйста, помогите мне ..

источник

2016-04-26 TEJASHWINI s

, что вы делали до сих пор, и какие ошибки вы получаете? – maasg

Это мой код: –

if (args.length <5) \t { \t String consumerKey = args [0]; \t String consumerSecret = args [1]; \t Строка accessToken = args [2]; \t String accessTokenSecret = args [3]; –

Почему бы вам не использовать sc.setLocalProperties()? создать

val ssc = new StreamingContext("local[10]", "test", Duration(3000)) 
val sc = ssc.sparkContext

sc.setLocalProperties()

источник

2016-04-28 14:26:36 tesnik03

Как передавать данные твиттера в эластичный поиск? код в java plz .. –

Как выполнить потоковую передачу данных Twitter через Apache Spark Streaming?

ответ

Смежные вопросы