Коллекция Split Mongo (по индексу)

Question

В настоящее время у меня есть длительная операция (работает в Python + Celery), которая проходит через всю коллекцию Mongo, насчитывающую около 43 000 000 элементов, и анализирует элементы без внесения каких-либо изменений в эти элементы ,

По мере того, как эта коллекция выросла, операция начала занимать больше времени (очевидно) и теперь периодически терпит неудачу, как правило, из-за тайм-аута в другую базу данных.

Я хотел бы разделить эту операцию на несколько небольших операций - возможно, всего на несколько миллионов элементов - и мне интересно, как лучше всего создавать запросы, которые будут выполнять расщепление. У меня есть только один индекс в этой коллекции и его номер _id.

Очевидный ответ, казалось, что-то вроде:

# This is executed in parallel on different servers 
def doAnalysis(skipped,limit) 
    db.<collection>.find().skip(skipped).limit(limit) 

... 

# This is the parent task 
elemsToAnalyze = db.<collection>.find().count()/10; 
for i in range(0,10: 
    doAnalysis(elemsToAnalyze * i, elemsToAnalyze) 

Но оказывается, что .skip() занимает время долго - в основном только до тех пор, как на самом деле выполнения анализа! Есть лучший способ сделать это?

Answer 1

skip() может быть очень медленным в этом случае. Вместо этого вы можете использовать запросы диапазона, используя последний пакет _id пакета для запроса следующей партии. Что-то вроде этого:

db.<collection>.find({ "_id" : { $gte: prev_batch_last_id } }).sort({ _id : 1 }).limit(limit); 

Вам нужно будет сохранить последний идентификатор партии в переменной самостоятельно.