Как присвоить значение по умолчанию всем записям хранилища NDB?

Question

я должен добавить одно новое свойство в существующий класс НБД:

class AppList(ndb.Model): 
    ... 
    ignore = ndb.BooleanProperty(default=False) # new property 

Тогда я буду использовать его, как показано ниже:

entries = AppList.query() 
entries = entries.filter(AppList.counter > 5) 
entries = entries.filter(AppList.ignore == False) 
entries = entries.fetch() 

Я не могу использовать AppList.ignore != True поймать рано добавил записи (которые дон 't имеет свойство ignore), поэтому я должен назначить False для всех записей в моем объекте AppList. Каков наиболее эффективный способ сделать это? В настоящее время этот объект содержит около 4 000 записей.

Обновление. Я решил использовать следующий уродливый код (не удалось применить cursors), он работает как задание cron. Но разве я не обновляю все 100 записей каждый раз?

entities = AppList.query() 
# entities = entities.filter(AppList.ignore != False) 
entities = entities.fetch(100) 
while entities: 
    for entity in entities: 
     entity.ignore = False 
     entity.put() 
    entities = AppList.query() 
    # entities = entities.filter(AppList.ignore != False) 
    entities = entities.fetch(100) 

Answer 1

не стоит забывать, что есть библиотека MapReduce, которая используется в этих случаях. Но я считаю, что лучший способ - использовать все эти предложения.

Теперь вам нужно получить() и поставить() 4000 объектов, и вопрос заключается в том, как уменьшить «затраты» на эту операцию.

Мне просто интересно узнать, что возвращает ваш bool(entity.ignore). Если свойство missing возвращает False, вы можете настроить код, считая его False, и отложить операцию.Если вы поместите() по другой причине, свойство ignore написано на False благодаря аргументу по умолчанию. Таким образом, для остальных объектов можно запустить такой скрипт (через remote_api):

def iter_entities(cursor=None): 
    entries = AppList.query() 
    res, cur, more = entries.fetch_page(100, start_cursor=cursor) 
    put_queue = [ent for ent in res if not hasattr(ent, 'ignore')] 
    # put_queue = [] 
    # for ent in res: 
    # if not hasattr(ent, 'ignore'): 
    #  put_queue.append(ent) 
    ndb.put_multi(put_queue) 
    if more: 
     iter_entities(cur) # a taskqueue is better 

Answer 2

Вы можете попробовать использовать hasattr, чтобы проверить, не имеет ли запись свойство ignore.

Если вы просто хотите назначить False для всех записей в объекте AppList, вам просто нужно сделать обновление к вашей схеме (перезагрузить файл models.py), а затем вы должны установить свойство False.

Более подробную информацию о обновлении схемы можно найти here.

EDIT: ответить на Ваш комментарий:

if hasattr(entity, 'ignore'): 
    #your code goes here 

Answer 3

Самый простой способ без развертывания нового кода, будет использовать удаленный API и выполнять запрос, получающий все сущности и устанавливающий значение свойства false, а затем put(). 4000 записей не много.

На самом деле вам даже не нужно явно указывать значение, оно будет установлено при получении значения по умолчанию, если оно не имеет значения в настоящее время.

Answer 4

Ваш обновленный код обновит только первые 100 объектов. попробуйте использовать курсор

https://developers.google.com/appengine/docs/python/ndb/queries#cursors

если и не могу использовать курсор, а затем использовать смещение и продолжать увеличивать смещение по 100 на каждом цикле или извлечь все записи один раз выборки() (курсор подход лучше один)

и вместо того, чтобы их один за одним использованием ndb.put_multi (список лиц, положить)

это будет более быстрее, чем положить один на один