Неудовлетворительное поведение для модулей google/backends

Question

Я работаю с GAE, и я пытаюсь обработать большой zip-файл (~ 150mb zipped, 500 unzipped), который я должен делать каждый день для своего приложения.

Я создал модуль для загрузки файла из Google Cloud Storage и проанализировал его, сохранив определенные фрагменты информации в Google Datastore по пути. Проблема в том, что он закроется в течение нескольких минут, и я в основном проиграю, где я нахожусь в файле. Я даю экземпляру более чем достаточно CPU/памяти, так что это не проблема.

Есть ли способ справиться с этим? Документация по обработке выключения довольно ограничена, и кажется, что запросы на завершение работы даже не гарантированы. Мне кажется странным, что GAE не может обрабатывать файл размером 150 Мбайт, а также не может ГАЕ гарантировать 10-15 минут безотказной работы вовремя. Есть ли способ обойти эти ограничения? Спасибо ..

EDIT:

Почему, когда я иду, чтобы загрузить мой модуль ([имя_модуля] [имя_приложения] .appspot.com.), Он загружает все доступные экземпляры:

в documentation состоянии

"http://module.app-id.appspot.com Отправить запрос к доступному экземпляру версии по умолчанию па med module (используется циклическое планирование). "

Answer 1

Вы действительно измерили, что памяти достаточно? Если вы загрузите 500 Мб, разархивированные в память, то это очень много.

Я видел это поведение, когда заканчивается память. Я бы предложил попробовать с меньшим тестовым файлом. Если это работает, попробуйте реализовать потоковое решение, в котором размер файла не будет иметь значения, поскольку он никогда не загружается в память.