Дамп базы данных ReactiveMongo с Play Framework 2.5

Question

Я пытаюсь сбрасывать базу данных mongo в объект json, но поскольку мои запросы к базе данных асинхронны, у меня возникают проблемы.

Каждая коллекция в моей базе данных содержит данные пользователя, и каждое имя коллекции является именем пользователя.

Итак, когда я хочу получить все данные моих пользователей, я восстанавливаю все имена коллекций, а затем перебираю их, чтобы каждый раз восстанавливать каждую коллекцию.

def databaseDump(prom : Promise[JsObject]) = { 
    for{ 
     dbUsers <- getUsers 
    } yield dbUsers 

var rebuiltJson = Json.obj() 
var array = JsArray() 
res.map{ users => 
    users.map{ userNames => 
    if(userNames.size == 0){ 
     prom failure new Throwable("Empty database") 
    } 
    var counter = 0 
    userNames.foreach { username => 
     getUserTables(username).map { tables => 
     /* Add data to array*/ 
      ... 
     counter += 1 
     if(counter == userNames.size){ 
      /*Add data to new json*/ 
      ... 
      prom success rebuiltJson 
     } 

     } 
    } 
    } 
} 

Это своего рода работает, но иногда обещание успешно срабатывает, даже если все данные еще не recoverd. Это связано с тем, что моя счетная переменная не является надежным решением.

Есть ли способ обойти всех пользователей, запросить базу данных и ждать, пока все данные будут восстановлены, прежде чем успешно выполнить обещание? Я пытался использовать это для понимания, но не нашел способ сделать это. Есть ли способ сбрасывать всю БД монго в один Json: { username : data, username : data ..}?

Answer 1

Терминология пользователей/таблиц меня путала, поэтому я написал новую функцию, которая выгружает базу данных в один JsObject.

// helper function to find all documents inside a collection c 
// and return them as a single JsArray 
def getDocs(c: JSONCollection)(implicit ec: ExecutionContext) = c.find(Json.obj()).cursor[JsObject]().jsArray() 

def dumpToJsObject(db: DefaultDB)(implicit ec: ExecutionContext): Future[JsObject] = { 
    // get a list of all collections in the db 
    val collectionNames = db.collectionNames 
    val collections = collectionNames.map(_.map(db.collection[JSONCollection](_))) 

    // each entry is a tuple collectionName -> content (as JsArray) 
    val namesToDocs = collections.flatMap { 
    colls => Future.sequence(colls.map(c => getDocs(c).map(c.name -> _))) 
    } 

    // convert to a single JsObject 
    namesToDocs.map(JsObject(_)) 
} 

Я не проверял еще (я сделаю это позже), но эта функция должна по крайней мере дать вам общее представление. Вы получаете список всех коллекций внутри базы данных. Для каждой коллекции вы выполняете запрос, чтобы получить все документы внутри этой коллекции. Список документов преобразуется в JsArray, и, наконец, все коллекции состоят из одного JsObject с именами коллекций в виде ключей.

Answer 2

Если цель состоит в том, чтобы записать данные в выходной поток (локальный/файл или сеть), с побочными эффектами.

import scala.concurrent.{ ExecutionContext, Future } 
import reactivemongo.bson.BSONDocument 
import reactivemongo.api.{ Cursor, MongoDriver, MongoConnection } 

val mongoUri = "mongodb://localhost:27017/my_db" 

val driver = new MongoDriver 
val maxDocs = Int.MaxValue // max per collection 

// Requires to have an ExecutionContext in the scope 
// (e.g. `import scala.concurrent.ExecutionContext.Implicits.global`) 
def dump()(implicit ec: ExecutionContext): Future[Unit] = for { 
    uri <- Future.fromTry(MongoConnection.parseURI(mongoUri)) 
    con = driver.connection(uri) 
    dn <- Future(uri.db.get) 
    db <- con.database(dn) 
    cn <- db.collectionNames 
    _ <- Future.sequence(cn.map { collName => 
    println(s"Collection: $collName") 

    db.collection(collName).find(BSONDocument.empty). // findAll 
     cursor[BSONDocument]().foldWhile({}, maxDocs) { (_, doc) => 
     // Replace println by appropriate side-effect 
     Cursor.Cont(println(s"- ${BSONDocument pretty doc}")) 
     } 
    }) 
} yield() 

При использовании с сериализации пакета JSON, просто замените BSONDocument с JsObject (например BSONDocument.empty ~>Json.obj()).

Если вы тестируете Scala REPL, после вставки предыдущего кода его можно выполнить следующим образом.

dump().onComplete { 
    case result => 
    println(s"Dump result: $result") 
    //driver.close() 
}