Распечатайте словарь и сохраните его в файл, а затем скопируйте его в файл py для использования?

Question

Используя БД, я хочу создать очень большой словарь. Если я сохраню его на диске, при мариновании он занимает около 10 МБ пространства.

То, что я хочу сделать, это:

Сохранить этот словарь, как это на диск, для того, чтобы открыть этот текстовый документ и скопировать его в другой файл ру, так что я не должен повторно генерировать это каждый раз и всякий раз, когда py-документ вызывается через веб-приложение, он повторяется.

Как я могу это сделать?

PS. Мое приложение работает в Google приложении, и я хочу решить эту проблему, как это, чтобы воздерживаться от использования ресурсов DB и других.

Answer 1

магазин его в Blobstore через файлы апи:

class YourDictModel(ndb.Model): 
    data = ndb.BlobKeyProperty() 

huge_dict = dict(...) 

file_name = files.blobstore.create(mime_type='application/octet-stream') 
with files.open(file_name, 'a') as f: 
    f.write(marshal.dumps(huge_dict)) 

    # Finalize the file. Do this before attempting to read it. 
    files.finalize(file_name) 

    # Get the file's blob key 
    blob_key = files.blobstore.get_blob_key(file_name) 
    entity = YourDictModel(data = blob_key) 

    entity.put() 

обратите внимание, что:

• вы не можете изменить блоб так, чтобы изменить его, вам нужно будет прочитать Dict в память , удалите blob, создайте новый и замените ключ на модели.
• Чем больше словарь, тем больше вероятность, что вы нажмете ограничение на размер мягкого процесса.
• Я использую маршала, но вы можете использовать pickle, json или что хотите.

вы не можете записать в файл из GAE SDK: how to write or create (when no exist) a file using python and Google AppEngine

Answer 2

Во-первых, если ваш словарь маринованный займет 10 МБ, он, вероятно, будет использовать больше места, чем если бы вы сохранили его в файле py. Если ваш словарь содержит только основные типы можно использовать просто обычный Распечатайте

>>> print 'mydict = %s' %({'a': [1,2], 2: 'c'},) 
mydict = {'a': [1, 2], 2: 'c'} 

Рассмотрим также, что время загрузки такого файла будет значительным.

Во-вторых, то, что вы хотите сделать, невозможно с помощью Google App Engine, потому что вы не можете динамически изменять источники вашего проекта. Если этот словарь никогда не изменится.

У Google app engine есть бесплатные квоты даже для хранилища данных, поэтому я не вижу смысла пытаться обойти его.

Answer 3

Максимально допустимый размер файла для GAE составляет 10 485 760 байт.

Uploading, Downloading, and Managing a Python App - Google Developers

Кроме того, словарь такого размера не звучит очень эффективным. Что вы сохраняете в вызовах хранилища данных, которые вы можете потерять в количестве часов экземпляра, необходимых для запуска вашего приложения.

В конце концов вам, вероятно, будет лучше с точки зрения затрат и производительности просто использовать хранилище данных.

Answer 4

Вы не можете сохранить на диск в App Engine. Самый близкий эквивалент - рассолить и сохранить в блоб-магазине.

https://developers.google.com/appengine/docs/python/blobstore/

Вы должны будете сделать свои собственные тесты, чтобы увидеть, если производительность стоит, но Blobstore может быть дешевле, чем выпуск запросов, чтобы восстановить эти данные снова и снова.

Answer 5

Если честно, я не понимаю, почему вы хотели бы попытаться это сделать, поэтому не можете придумать идею, которая могла бы помочь.

Можете ли вы разъяснить, что вы пытаетесь сделать, а не то, что вы хотите сделать?

Хотя, если я правильно понимаю вас, то, что вы хотите сделать, это обойти использование ресурсов. Нет способа избежать использования ресурсов GAE, если вы используете платформу. Независимо от того, что вы делаете, вы собираетесь использовать некоторые виды использования ресурсов в App Engine. Вы помещаете словарь в хранилище данных, blobstore или memcache. Вы можете отправить данные на другой URL-адрес, вы можете загрузить и загрузить данные, но вы все еще используете ресурсы.

Answer 6

Это звучит, как вы просто хотите дамп словаря, который можно загрузить, как питон. Это довольно легко:

>>> d = {'key': 'value'} 
>>> print '%r' % (d,) 
{'key': 'value'} 
>>> print repr(d) 
{'key': 'value'} 
>>> open('/tmp/mydict.py', 'w').write(repr(d))