MeteorJS (MongoDB) с Spark

Question

Я использую среду MeteorJS для одного из моих проектов. Я создал базовый webApp один раз перед использованием MeteorJS, и он отлично работает, когда его просто клиент, сервер и MongoDB.

В этом проекте я хочу, чтобы monogDB (который встроен в MeteorJS) заполнял данные из Apache Spark.

В принципе, Apache Spark обрабатывает некоторые данные и вводит их в mongoDB Возможно ли это? . Можете ли вы указать мне правильный учебник для этого Насколько сложным это реализовать? Заранее за вашу помощь

Answer 1

Да, это очень возможно и довольно легко. Тем не менее, это не будет через MeteorJS, это будет частью задания Apache Spark и будет настроено там.

Использование MongoDB Spark Connector с использованием данных DataFrame или RDD и сохранение его в MongoDB очень просто.

Сначала вы должны настроить, как и где данные записываются:

// Configure where to save the data 
val writeConfig = WriteConfig(Map("uri" -> "mongodb://localhost/databaseName.collectionName")) 

С РДД Вам необходимо конвертировать их в документы с помощью функции карты, например:

val documentRDD = rdd.map(data => Document) // map the RDD into documents 
MongoSpark.save(documentRDD, writeConfig) 

Если вы используете DataFrames это гораздо проще, так как вы можете просто предоставить DataFrameWriter и writeConfig:

MongoSpark.save(dataFrame.write, writeConfig) 

В разделе documentation есть дополнительная информация, или есть примеры в github repo.