MongoDB Ошибки при удалении Дубликатов

Question

Моих дубликатов удаления кода (в MongoDB оболочке), как это:

db.<collection_name>.aggregate([ 
    { 
     $group: { 
      _id: { <duplicated_keys>: "$<duplicated_keys>" }, 
      dups: { $addToSet: "$_id" }, 
      count: { $sum: 1 } 
     } 
    }, 
    { 
     $match: { 
      count: { $gt: 1 } 
     } 
    } 
], { allowDiskUse: true }) 
.forEach(function(doc) { 
    doc.dups.shift(); 
    db.<collection_name>.remove({ _id: { $in: doc.dups } }); 
}); 

И я получил сообщение об ошибке, как это:

[thread1] Error: getMore command failed: { 
     "ok" : 0, 
     "errmsg" : "Cursor not found, cursor id: 144931661890", 
     "code" : 43 
} 

Что является причиной эта ошибка? И как я могу это решить?

UPDATE

• MongoDB версия 3.2

• Перед forEach, результат:

  { "_id" : { <duplicated_keys>: <dupkey_values> }, "dups" : [ ObjectId("56f8e4d37a88ea2aa938414d"), ObjectId("56f63ab87a88ea141ca33856") ], "count" : 2 } 
  

  И если я нахожу с ObjectId("56f63ab87a88ea141ca33856"), это дублирует документ.

• Объем данных относительно большой (30+ ГБ), может возникнуть проблема?
• При запуске запроса есть вставки в одну и ту же коллекцию.

Answer 1

См. Этот выпуск https://jira.mongodb.org/browse/SERVER-13358, эта ошибка Error: getMore command failed:, вызванная ошибкой в ​​агрегации. См. Тот же выпуск https://jira.mongodb.org/browse/SERVER-6036, его планируется исправить, но не планируется

Answer 2

Наконец-то выяснилось решение. Курсор в MongoDB имеет время жизни, по умолчанию это 10 минут. По истечении этого времени оболочка не сможет найти следующий курсор.

Чтобы избежать этого, установите время жизни курсора noCursorTimeout(). Например:

db.<collection_name>.aggregate([ 
    { 
     $group: { 
      _id: { <duplicated_keys>: "$<duplicated_keys>" }, 
      dups: { $addToSet: "$_id" }, 
      count: { $sum: 1 } 
     } 
    }, 
    { 
     $match: { 
      count: { $gt: 1 } 
     } 
    }, 
    { 
     $out: "tempCollection" 
    } 
], { allowDiskUse: true }); 

db.tempCollection.find().noCursorTimeout().forEach(...); 

Или использовать меньше размер партии. Например:

db.<collection_name>.aggregate([ 
    { 
     $group: { 
      _id: { <duplicated_keys>: "$<duplicated_keys>" }, 
      dups: { $addToSet: "$_id" }, 
      count: { $sum: 1 } 
     } 
    }, 
    { 
     $match: { 
      count: { $gt: 1 } 
     } 
    }, 
    { 
     $out: "tempCollection" 
    } 
], 
{ 
    allowDiskUse: true, 
    cursor: { batchSize: 0 } 
}); 

db.tempCollection.find().forEach(...); 

Answer 3

Большое спасибо за обмен мнениями. Я получал ту же ошибку, и добавление noCursorTimeout() помогло обработать мои данные.