Django. Потоковое обновление или создание.

Question

Мы знаем, что обновление - это поточно-безопасная работа. Это означает, что когда вы делаете:

SomeModel.objects.filter(id=1).update(some_field=100) 

Вместо:

sm = SomeModel.objects.get(id=1) 
sm.some_field=100 
sm.save() 

Ваше приложение relativly поточно и операция SomeModel.objects.filter(id=1).update(some_field=100) не будет переписывать данные в других областях модели.

Мой вопрос .. Если есть какой-нибудь способ сделать

SomeModel.objects.filter(id=1).update(some_field=100) 

, но с созданием объекта, если он не существует?

Answer 1

from django.db import IntegrityError 

def update_or_create(model, filter_kwargs, update_kwargs) 
    if not model.objects.filter(**filter_kwargs).update(**update_kwargs): 
     kwargs = filter_kwargs.copy() 
     kwargs.update(update_kwargs) 
     try: 
      model.objects.create(**kwargs) 
     except IntegrityError: 
      if not model.objects.filter(**filter_kwargs).update(**update_kwargs): 
       raise # re-raise IntegrityError 

Я думаю, что код, представленный в вопросе, не очень показателен: кто хочет установить id для модели? Давайте предположим, что нам это нужно, и мы одновременно операции:

def thread1(): 
    update_or_create(SomeModel, {'some_unique_field':1}, {'some_field': 1}) 

def thread2(): 
    update_or_create(SomeModel, {'some_unique_field':1}, {'some_field': 2}) 

С update_or_create функция, зависит от того, какой поток приходит первым, объект будет создан и обновляется без исключения. Это будет потокобезопасной, но, очевидно, имеет мало пользы: зависит от состояния гонки стоимости SomeModek.objects.get(some__unique_field=1).some_field может быть 1 или 2.

Django предоставляет объекты F, так что мы можем обновить наш код:

from django.db.models import F 

def thread1(): 
    update_or_create(SomeModel, 
        {'some_unique_field':1}, 
        {'some_field': F('some_field') + 1}) 

def thread2(): 
    update_or_create(SomeModel, 
        {'some_unique_field':1}, 
        {'some_field': F('some_field') + 2}) 

Answer 2

Вы можете использовать встроенный get_or_create Django, но он работает только с самой моделью, а не с запросом.

Вы можете использовать это так:

me = SomeModel.objects.get_or_create(id=1) 
me.some_field = 100 
me.save() 

Если у вас есть несколько потоков, ваше приложение будет необходимо определить, какой экземпляр модели является правильным. Обычно то, что я делаю, это обновить модель из базы данных, внести изменения, а затем сохранить ее, чтобы у вас не было долгого времени в отключенном состоянии.

Answer 3

В django невозможно выполнить такую ​​операцию upsert с обновлением. Но QuerySet обновление метод возвращает количество отфильтрованных полей, так что вы можете сделать:

from django.db import router, connections, transaction 

class MySuperManager(models.Manager): 
    def _lock_table(self, lock='ACCESS EXCLUSIVE'): 
     cursor = connections[router.db_for_write(self.model)] 
     cursor.execute(
      'LOCK TABLE %s IN %s MODE' % (self.model._meta.db_table, lock) 
     ) 

    def create_or_update(self, id, **update_fields): 
     with transaction.commit_on_success():    
      self.lock_table() 
      if not self.get_query_set().filter(id=id).update(**update_fields): 
       self.model(id=id, **update_fields).save() 

этот пример, если для Postgres, вы можете использовать его без SQL-кода, но обновление или вставка операции не будет атомарным. Если вы создадите блокировку в таблице, вы убедитесь, что два объекта не будут созданы в двух других потоках.

Answer 4

вы нужен метод select_for_update() django (и бэкэнд, поддерживающий блокировку на уровне строк, например PostgreSQL) в сочетании с ручным управлением транзакциями.

try: 
    with transaction.commit_on_success(): 
     SomeModel.objects.create(pk=1, some_field=100) 
except IntegrityError: #unique id already exists, so update instead 
    with transaction.commit_on_success(): 
     object = SomeModel.objects.select_for_update().get(pk=1) 
     object.some_field=100 
     object.save() 

Обратите внимание, что если какой-либо другой процесс удаляет объект между двумя запросами, вы получите SomeModel.DoesNotExist исключение.

Django 1.7 и выше также имеет поддержку атомной операции и встроенный метод update_or_create().

Answer 5

Я думаю, что если у вас есть критические требования к работе с атомами.Лучше спроектировать его на уровне базы данных вместо уровня ORM Django.

Система Django ORM фокусируется на удобстве, а не на производительности и безопасности. Иногда вам приходится оптимизировать автоматически сгенерированный SQL.

«Транзакция» в большинстве продуктивных баз данных обеспечивает блокировку и откаты базы данных.

В системах гибридного типа (mashup (hybrid)), или скажем, что ваша система добавила некоторые компоненты третьей части, такие как ведение журнала, статистика. Приложение в разных рамках или даже язык может одновременно обращаться к базе данных, добавление потоковой безопасности в Django в этом случае недостаточно.

Answer 6

SomeModel.objects.filter(id=1).update(set__some_field=100)