memoize to disk - python - постоянная memoization

Question

Есть ли способ запоминать вывод функции на диск?

У меня есть функция

def getHtmlOfUrl(url): 
    ... # expensive computation 

и хотел бы сделать что-то вроде:

def getHtmlMemoized(url) = memoizeToFile(getHtmlOfUrl, "file.dat") 

, а затем вызвать getHtmlMemoized (URL), с тем, чтобы сделать дорогостоящие вычисления только один раз для каждого URL ,

Answer 1

Python предлагает очень элегантный способ сделать это s - декораторы. В принципе, декоратор - это функция, которая обертывает другую функцию для обеспечения дополнительной функциональности без изменения исходного кода функции. Ваш декоратор можно записать так:

import json 

def persist_to_file(file_name): 

    def decorator(original_func): 

     try: 
      cache = json.load(open(file_name, 'r')) 
     except (IOError, ValueError): 
      cache = {} 

     def new_func(param): 
      if param not in cache: 
       cache[param] = original_func(param) 
       json.dump(cache, open(file_name, 'w')) 
      return cache[param] 

     return new_func 

    return decorator 

После того, как вы получили, что, «украсить» функцию с помощью @ -syntax и вы будете готовы.

@persist_to_file('cache.dat') 
def html_of_url(url): 
    your function code... 

Обратите внимание, что этот декоратора намеренно упрощена и может не работать в любой ситуации, например, когда функция источника принимает или возвращает данные, которые не могут быть JSON-сериализации.

Подробнее о декораторов: How to make a chain of function decorators?

А вот как сделать декоратор сохранить кэш только один раз, во время выхода:

import json, atexit 

def persist_to_file(file_name): 

    try: 
     cache = json.load(open(file_name, 'r')) 
    except (IOError, ValueError): 
     cache = {} 

    atexit.register(lambda: json.dump(cache, open(file_name, 'w'))) 

    def decorator(func): 
     def new_func(param): 
      if param not in cache: 
       cache[param] = func(param) 
      return cache[param] 
     return new_func 

    return decorator 

Answer 2

Что-то вроде этого нужно сделать:

import json 

class Memoize(object): 
    def __init__(self, func): 
     self.func = func 
     self.memo = {} 

    def load_memo(filename): 
     with open(filename) as f: 
      self.memo.update(json.load(f)) 

    def save_memo(filename): 
     with open(filename, 'w') as f: 
      json.dump(self.memo, f) 

    def __call__(self, *args): 
     if not args in self.memo: 
      self.memo[args] = self.func(*args) 
     return self.memo[args] 

Базовое использование:

your_mem_func = Memoize(your_func) 
your_mem_func.load_memo('yourdata.json') 
# do your stuff with your_mem_func 

Если вы хотите написать свой «кэш» в файл после его использования - чтобы снова загрузить в будущем:

your_mem_func.save_memo('yournewdata.json') 

Answer 3

Заканчивать joblib.Memory. Это библиотека для этого.

Answer 4

У этого Artemis library есть модуль для этого. (Вам нужно pip install artemis-ml)

Вы украсите вашу функцию:

from artemis.fileman.disk_memoize import memoize_to_disk 

@memoize_to_disk 
def fcn(a, b, c = None): 
    results = ... 
    return results 

Внутренне, это делает хэш из входных аргументов и сохраняет мемо-файлы этого хэша.

Answer 5

Предполагая, что вы данные JSON сериализации, этот код должен работать

import os, json 

def json_file(fname): 
    def decorator(function): 
     def wrapper(*args, **kwargs): 
      if os.path.isfile(fname): 
       with open(fname, 'r') as f: 
        ret = json.load(f) 
      else: 
       with open(fname, 'w') as f: 
        ret = function(*args, **kwargs) 
        json.dump(ret, f) 
      return ret 
     return wrapper 
    return decorator 

getHtmlOfUrl украшают, а затем просто вызвать его, если он был запущен ранее, вы получите ваши кэшированные данные.

Проверено с Python 2.x и 3.x питона

Answer 6

уборщик решение на базе модуля Полочка Python.Преимущество заключается в том, что кеш обновляется в реальном времени, что является доказательством исключения.

import shelve 
def shelve_it(file_name): 
    d = shelve.open(file_name) 

    def decorator(func): 
     def new_func(param): 
      if param not in d: 
       d[param] = func(param) 
      return d[param] 

     return new_func 

    return decorator 

@shelve_it('cache.shelve') 
def expensive_funcion(param): 
    pass 

Это облегчит вычисление функции только один раз. Следующие последующие вызовы для того же параметра возвращают сохраненный результат.