Объединение двух результатов агрегирования в mongodb с использованием $ из совокупности

Question

У меня есть приложение для отчетности, и я генерирую команды mongodb, и он включает в себя запуск трех совокупных вызовов. Совокупные вызовы имеют [match, group, project] в своих трубах.

RESULT OF AGGREGATE 1-3 
{_id: <XXX>, ...} 

группировка «_id» для этих вызовов одинаковы, но, поскольку их $ матч разные, они не могут быть в одной и той же совокупности вызова. Мне нужно присоединиться ко всем этим результатам агрегирования. Я знаю, что одним из способов решения этого является использование условий на этапе $ group, но проблема в том, что условия действительно сложны для смешивания с уже сложным $ group pipe.

Чтобы дать некоторый контекст, почему это решение очень сложно, если не невозможно; данные довольно велики, каждый документ имеет 700 атрибутов, а документы идут со скоростью около 1k в день. Создание такого сложного состояния в поле EACH на этапе $ group вызовет беспорядок.

Я видел ответы, которые запускают map-reduce для объединения этих результатов агрегирования, но я ищу другие решения. Как я исследовал, агрегат имеет $ out pipe. Есть ли способ, которым я могу манипулировать этим $ out pipe, чтобы присоединиться к этим результатам агрегации? (Причина, по которой мы думаем о $ out, состоит в том, что мне все равно нужно сохранять ВСЕ результаты в качестве отчета)

Answer 1

Если вы действительно хотите продолжить объединение результатов агрегирования, вы можете создать выходную коллекцию, используя массовые upserts. Для производительности вы можете создать составной индекс в этой выходной коллекции, в которой есть ваши атрибуты группировки.

dataArray.map(function(data) { 
    data.forEach(function(err, row){ 
     var setOnInsert = {grouping_attrs: row.grouping_values, v1: row.v1} 
     var set = {v2: row.v2} 
     var query = {grouping_attrs: row.grouping_values} 
     bulk.find(query).upsert().update({$setOnInsert: setOnInsertStmt, $set: set}); 
    })  
}) 

Здесь ваш dataArray создается с помощью находку на $out коллекций.