Ошибка использования памяти приложения App Engine DB

Question

Когда я запускаю запрос на большом множестве небольших объектов (объекты 15k с несколькими короткими строковыми и логическими свойствами), не делая ничего с этими объектами, я постоянно вижу использование памяти экземпляра (увеличение на 70 Мб). Увеличение памяти не выглядит пропорциональным количеству данных, которые ему когда-либо нужно хранить в памяти только для запроса.

Петля я использую следующее:

cursor = None 
while True: 
    query = MyModel.all() 
    if cursor: 
    query.with_cursor(cursor) 
    fetched = 0 
    for result in query.run(batch_size = 500): 
    fetched += 1 

    # Do something with 'result' here. Actually leaving it empty for 
    # testing to be sure I don't retain anything myself 

    if fetched == 500: 
     cursor = query.cursor() 
     break 
    else: 
    break 

Чтобы быть уверенным, что это не из-за Appstats, я называю appstats.recording.dont_record() не записывать какие-либо статистику.

Кто-нибудь знает, что может быть? Или любые указатели на то, как отлаживать/профилировать это?

Update 1: Я включил gc.set_debug(gc.DEBUG_STATS) на производстве код, и я вижу, что сборщик мусора вызывается регулярно, так что это пытается собрать мусор. Когда я вызываю gc.collect() в конце цикла (также конец запроса); он возвращает 0, и не помогает.

Update 2: Я сделал некоторые взлома, чтобы получить гуппи работать на dev_appserver, и это, казалось, указывают, что после явного gc.collect() в конце цикла, большая часть памяти была поглощена в «Словаре из google.appengine.datastore.entity_pb.Property.

Answer 1

Я сообщил об этом команде разработчиков приложений, и они, похоже, подтверждают, что это на самом деле проблема (предположительно, с обработкой курсоров).

Answer 2

В каждой модели объекта есть над головой.

Вы запрашиваете объекты возврата в качестве Protobufs для стартеров.

Итак, вы получите ряд протобофов для набора результатов.

Затем он декодируется. Каждый декодированный объект включает имена свойств, а также данные для каждого объекта. У вас есть 15K объектов. Насколько велики ваши имена свойств, например.

Таким образом, у вас есть как минимум две копии результирующего набора в памяти в различных формах (возможно, больше), не включая ничего, что вы делаете с экземплярами класса модели.

У вас код/​​цикл не имеет возможности для сборщиков мусора, и это может произойти позже.

Посмотрите на инструменты, такие как apptrace, чтобы помочь профилировать память.