Django batching/bulk update_or_create?

Question

У меня есть данные в базе данных, которые необходимо обновлять перидоциально. Источник данных возвращает все, что доступно в этот момент времени, поэтому будет включать новые данные, которых еще нет в базе данных.

Как я прохожу через исходные данные, я не хочу делать 1000 отдельных записей, если это возможно.

Есть ли что-нибудь такое, как update_or_create, но работает партиями?

Одна мысль заключалась в использовании update_or_create в сочетании с ручными транзакциями, но я не уверен, что это просто очередная запись отдельных записей или если она объединит все это в одну вставку SQL?

Или аналогичным образом мог бы использовать @commit_on_success() по функции с update_or_create внутри работы цикла?

Я ничего не делаю с данными, кроме перевода и сохранения его в модель. Ничто не зависит от этой модели, существующей во время цикла

Answer 1

Вычисление ваших обновлений будет командой upsert, и, как сказал @imposeren, Postgres 9.5 дает вам эту возможность. Я думаю, что Mysql 5.7 также (см. http://dev.mysql.com/doc/refman/5.7/en/insert-on-duplicate.html) в зависимости от ваших конкретных потребностей. Это говорит, что, вероятно, проще всего использовать курсор db. Ничего плохого в этом нет, он есть, когда ORM просто недостаточно.

Что-то в этом направлении должно работать. Это psuedo-ish-код, поэтому не просто разрезайте-в-вставьте это, но концепция существует для ya.

class GroupByChunk(object): 
    def __init__(self, size): 
     self.count = 0 
     self.size = size 
     self.toggle = False 

    def __call__(self, *args, **kwargs): 
     if self.count >= self.size: # Allows for size 0 
      self.toggle = not self.toggle 
      self.count = 0 
     self.count += 1 
     return self.toggle 

def batch_update(db_results, upsert_sql): 
    with transaction.atomic(): 
     cursor = connection.cursor() 
     for chunk in itertools.groupby(db_results, GroupByChunk(size=1000)): 
      cursor.execute_many(upsert_sql, chunk) 

Предположения здесь:

• db_results является своего рода результатов итератора, либо в виде списка или словаря
• Результат от db_results может быть подан непосредственно в заявлении ехес сырыми SQL
• Если какое-либо из пакетных обновлений терпит неудачу, вы будете откатывать ВСЕ из них. Если вы хотите переместить это для каждого фрагмента, просто нажмите на with блок вниз немного