Spark, чтобы подписаться на брокер ActiveMQ или Mosquitto MQTT

Question

Я хочу подписаться на Spark в брокер ActiveMQ или Mosquitto MQTT. Как я могу это сделать?

Answer 1

There's a pull request Чтобы добавить источник входного сигнала MQTT в Spark Streaming. Мы решили не принимать этот PR прямо сейчас (мы хотели судить о спросе на MQTT перед его поддержкой), но вы должны иметь возможность взять этот PR-код и поместить его в свой собственный пакет.

Кроме того, ознакомьтесь с руководством Spark Streaming Custom Receivers для получения информации о написании пользовательских входных приемников.

Answer 2

более недавний запрос на тянуть и код для MQTT адаптера для искрового Streaming в апаче инкубатор искра хранилища здесь https://github.com/apache/incubator-spark/pull/64

Answer 3

Вы можете написать свою собственную искру потокового receiver.Which позволяет считывать из любых источников