Как запросить две коллекции одновременно?

Question

Я использую MongoDB, и я закончил с двумя коллекциями (непреднамеренно).

Первая коллекция (образец) имеет 100 миллионов записей (Tweets) со следующей структурой:

{ 
"_id" : ObjectId("515af34297c2f607b822a54b"), 
"text" : "bla bla ", 
"id" : NumberLong("314965680476803072"), 
"user" : 
     { 
     "screen_name" : "TheFroooggie", 
     "time_zone" : "Amsterdam", 
     }, 
} 

Вторая коллекция (пользователей) с 30 миллионов записей уникальных пользователей из коллекции чириканье и, похоже, это

{ "_id" : "000000_n", "target" : 1, "value" : { "count" : 5 } } 

где _id в коллекции пользователей является user.screen_name из коллекции чириканья, цель их статус (спамер или нет), и, наконец, value.count этого числа пользователя появился в нашем первом сбор (образец) коллекции (e .г. количество захваченных твитов)

Теперь я хотел бы сделать следующий запрос:

Я хотел бы вернуть все документы из коллекции образцов (твиты), где пользователь имеет целевое значение = 1

Другими словами, я хочу, например, вернуть все твиты всех спамеров.

Answer 1

Поскольку вы получаете твиты, вы можете добавить их в коллекцию. Использование информации об авторе в качестве ключа в части запроса документа запроса. В документе обновления может использоваться оператор $addToSet, чтобы поместить твит в массив твитов. Вы получите коллекцию, в которой есть автор и массив твитов. Затем вы можете классифицировать спамер для каждого автора и иметь связанные с ним твиты.

Таким образом, вы бы в конечном итоге делает что-то вроде этого:

db.samples.update({"author":"joe"},{$addToSet:{"tweets":{"tweet_id":2}}},{upsert:true}) 

Этот подход имеет вероятный недостаток выращивания документа мимо его первоначально выделенного размера на диске, который означает, что он будет перемещен и расширен на диске , Вероятно, вы понесете штраф за обновление индекса.

Вы также можете использовать способ хранения рейтинга спама с каждым твит-документом, а затем вытягивать их на основе идентификатора пользователя.

Как указывали другие, нет ничего плохого в настройке соответствующих индексов и использовании курсора для прокручивания ваших пользователей, потянув их твиты.

Выбранный вами подход должен основываться на вашем шаблоне доступа. Похоже, вы находитесь в хорошем месте, где вы можете экспериментировать с несколькими различными возможными решениями.