Batch существование проверка + сохранить - Джанго

Question

• У меня есть CSV файл со списком элементов, которые мне нужно хранить в базе данных.

• Мне нужно проверить, какие элементы еще не сохранены, и если они не сохранены, мне необходимо сохранить их в базе данных.

• 2-5 миллионов строк.

---

Модель Модель пользователя Джанго.

У меня есть CSV-файл этой формы:

ITEM_ID, Фамилия, Policy_number, пол, название, Дата_начала

Это код:

import csv 

reader = csv.reader(open('items.csv', 'rb')) 

for index, row in enumerate(reader): 
    if User.objects.filter(username=row[2]).count(): 
     continue 
    try: 
     user = User(username=row[2],last_name=row[1],password='*') 
     user.save() 
    except Exception, e: 
     print e 
    del user 
    del row 
    del index 

---

Какой метод вы бы порекомендовали?

Answer 1

Вам нужно загрузить файл CSV, а затем пройти через каждую строку, используя метод get_object_or_create, чтобы проверить, существует ли объект, если нет, то он создаст его для вас. Если вы покажете нам код models.py, мы сможем помочь вам более конкретно.

Answer 2

В зависимости от ситуации. Если данные CSV могут быть преобразованы в модели, что-то вроде этого нужно сделать:

• нагрузки CSV-данные
• для каждой строки:
  • проверить, если модель для этого существует
  • если не :
    • Создайте новую модель на основе данных и сохраните ее.

Edit:
Я думаю, что партия проверка на существование будет трудно. Пакетное сохранение моделей было бы более быстрым, но в зависимости от сложности модели я думаю, что это просто заставка для каждой модели.

Answer 3

Если ваша память может обрабатывать переменную usernames, это может быть хорошей оптимизацией.

import csv 

reader = csv.reader(open('items.csv', 'rb')) 

usernames = User.objects.values('username') 

for index, row in enumerate(reader): 
    if row[2] in usernames: 
     continue 
    User.objects.create(username=row[2],last_name=row[1],password='*') 

Если действительно есть проблема памяти, вы можете взглянуть на, например, это (существующий) ответ: Question about batch save objects in Django

Answer 4

Попробуйте это.count() будет ОЧЕНЬ дорогим.

for index, row in enumerate(reader): 
    try: 
     User.objects.get(username=row[2]) 
    except User.DoesNotExist: 
     user = User(username=row[2],last_name=row[1],password='*') 
     user.save()