Я ищу опцию для хранения быстрых сообщений (MT101) в hdfs или базе данных nonsql. Можем ли мы использовать python в иске, чтобы хранить его в Mongo DB? Пожалуйста, дайте мне знать, если кто-то работал над требованием к similair.Быстрые сообщения (MT *)
Пожалуйста, проверьте этот искровой соединитель Mongodb.
https://github.com/mongodb/mongo-hadoop/wiki/Spark-Usage
Существует пример для Python. В основном вам нужно импортировать pymongo_spark и pymongo для использования искрового коннектора.
import pymongo_spark pymongo_spark.activate()
Для создания РДД просто вызовите mongoRDD
рдд = sc.mongoRDD ('MongoDB: //: /db.collection')
Чтобы сохранить RDD обратно в MongoDB как другой коллекция.
rdd.saveToMongoDB ('MongoDB: //: /db.other.collection')
Спасибо,
Чарльза.
Если python не является требованием, вот как вы могли бы сделать это на IBM Bluemix для подключения к Mongodb Lab с помощью Scala. https://github.com/charles2588/bluemixsparknotebooks/blob/master/mongodb_sparkConnection.ipynb –