Вставить или игнорировать несколько документов в mongoDB

Question

У меня есть коллекция, в которой все мои документы имеют по крайней мере эти 2 поля, скажем name и url (где url уникален, поэтому я установил на нем уникальный индекс). Теперь, если я попытаюсь вставить документ с дубликатом url, он даст ошибку и остановит программу. Я не хочу этого поведения, но мне нужно что-то вроде mysqlinsert or ignore, так что mongoDB не должен вставлять документ с дубликатом url и продолжить со следующими документами.

Есть ли какой-либо параметр, который я могу передать команде insert, чтобы достичь этого? Я обычно делаю партию вставок с использованием pymongo, как:

collection.insert(document_array) 

Здесь collection является сбор и document_array является массивом документов.

Так можно каким-то образом реализовать функцию insert or ignore для ввода нескольких документов?

Answer 1

Почему бы не просто поместить свой вызов в .insert() внутри блока try: ... except: и продолжить, если вставка не удалась?

Кроме того, вы также можете использовать обычный звонок update() с флагом upsert. Подробности здесь: http://www.mongodb.org/display/DOCS/Updating#Updating-update%28%29

Answer 2

Если у вас есть свой массив документов, уже находящихся в памяти вашего скрипта python, почему бы не вставить их путем их итерации через них и просто поймать те, которые не выполняются при вставке из-за уникального индекса?

for doc in docs: 
    try: 
    collection.insert(doc) 
    except pymongo.errors.DuplicateKeyError: 
    print 'Duplicate url %s' % doc 

Где коллекция является экземпляром коллекции, созданной из ваших подключений экземпляров/база данных и документации является массивом словарей (документы) вы в настоящее время проездом для вставки.

Вы также можете решить, что делать с дублирующими ключами, которые нарушают ваш уникальный индекс в блоке except.

Answer 3

Настоятельно рекомендуется использовать upsert

stat.update({'location': d['user']['location']}, \ 
     {'$inc': {'count': 1}},upsert = True, safe = True) 

Здесь stat является сбор, если местоположение посетителя уже присутствует в коллекции, count увеличивается на единицу, иначе count установлен в 1.

Вот ссылка для документации http://www.mongodb.org/display/DOCS/Updating#Updating-UpsertswithModifiers

Answer 4

Что я делаю:

1. Сформировать массив MongoDB идентификаторов Я хочу, чтобы вставить (хэш некоторых значений в моем случае)
2. удалить существующие идентификаторы (Я использую команду redis queue bcoz, но вы можете запросить mongo)
3. Вставьте очищенные данные!

Redis идеально подходит для этого, вы можете использовать Memcached или Mysql памяти, в соответствии с вашими потребностями

Answer 5

Попробуйте это:

try: 
    coll.insert(
     doc_or_docs=doc_array, 
     continue_on_error=True) 
except pymongo.errors.DuplicateKeyError: 
    pass 

операция вставки будет еще бросать исключение, если ошибка возникает в вставка (например, попытка вставить дублирующее значение для уникального индекса), но это не повлияет на другие элементы массива. Затем вы можете проглотить ошибку, как показано выше.

Answer 6

Установить флаг continue_on_error при звонке insert(). Примечание PyMongo драйвер 2.1 и сервер версии 1.9.1 требуется:

continue_on_error (по желанию): Если True, то база данных не остановит обработки массовой вставки, если один выходит из строя (например, из-за дублирования идентификаторов). Это делает объемную вставку так же, как и в серии одиночных вставок, , за исключением того, что lastError будет установлен, если какая-либо вставка терпит неудачу, а не только последний . Если возникает несколько ошибок, будет сообщено только самое последнее по ошибке().

Answer 7

Используйте insert_many() и установите упорядоченное = False.

Это гарантирует, что все операции записи делаются попытки, даже если есть ошибки: http://api.mongodb.org/python/current/api/pymongo/collection.html#pymongo.collection.Collection.insert_many