Clojure - memoize на диске

Question

Я хотел бы улучшить производительность функции, которая возвращает измененные изображения. Запрашиваемый размер изображений не должен сильно отличаться (зависит от устройства), поэтому имеет смысл как-то кэшировать результаты.

Я мог бы, конечно, сохранить его на диске, и проверить, если новое изображение существует, и убедитесь, что если исходное изображение будет удалено, змененные версии тоже ...

Или я мог бы использовать memoized функция. Но так как результат потенциально довольно большой (изображение составляет около 5 - 10 МБ, я думаю), бессмысленно хранить их в памяти (несколько десятков ГБ изображений и их модифицированные версии будут заполнять память довольно быстро).

Итак, есть ли способ иметь memoized функцию, которая действует как обычный Clojure defmemo, но поддерживается ли папкой на локальном диске вместо памяти? Затем я мог бы использовать стратегию ttl, чтобы убедиться, что изображения не слишком долго не синхронизируются.

Нечто похожее на crache, но при поддержке файловой системы?

Answer 1

Не переусердствуйте. Ваша файловая система как кеш - правильная идея. Если один файл становится популярным, и к файлу обращается много, то ваша операционная система будет следить за тем, чтобы он находился в ОЗУ. Это та же стратегия, что и многие базы данных. Например, Elasticsearch требует, чтобы вы оставили достаточное количество ОЗУ, чтобы иметь файлы индекса Lucene в ОЗУ.

Не изменяйте ваши файлы ни когда! Сделайте это по-функциональному: обрабатывайте их как неизменные данные. Ваш входной файл не должен изменяться. Если это так, то это новый файл. Пространство на жестком диске является недешево дешевым. Не бойтесь иметь много файлов, лежащих вокруг. Если вам нужно, вы можете сделать сборку мусора, которая через некоторое время удаляет старые/помеченные файлы.

Чтобы проверить, есть ли файл в кеше, вы просто проверяете, существует ли файл. Если это не так: вы пишете его один раз.

Итак, подведем итог:

• Пусть ваш O/S работает кэширование
• Не редактировать файлы. Рассматривайте их как непреложные данные. Запись раз
• Ваш O/S освободит ОЗУ неиспользуемых файлов. Место на жестком диске супер дешево.

Answer 2

Что вам нужно, это отличное использование для Datomic. Он легко используется из Clojure, достаточно эффективен и, как и любая хорошая БД, он имеет кэш-память с наименее используемым (LRU) в памяти. В Postgres, Redis, DynamoDB, Riak и т. Д. Он также может использовать широкий спектр баз данных баз данных в качестве субстрата: от строго встроенной памяти (лучше всего для тестирования экспериментов &). Существует также режим «dev», который использует локальные файлы для все хранение.

Смотреть все подробности здесь:

• Datomic
• Datomic "dev" mode

Существует стандартная версия с бесплатной бессрочной лицензией, которая подходит для большинства применений. Для расширенных функций доступна платная версия.

Answer 3

Почему бы не реализовать TTL-кеш из clojure.core.cache, не обернув его необходимой функциональностью? Ваш ключ может быть любым, который идентифицирует ваше измененное изображение, и значение будет его местоположением на диске. Тогда вы могли бы реализовать какой-то набор или набор! функция, передавая ему функцию, которая будет вызываться для генерации изображения, когда оно не существует. , например.

(def Cache (atom (cache/ttl-cache-factory {} :ttl 20000))) 

(defn get-or-update! 
    "wraps the recommended has-hit-get pattern 
    https://github.com/clojure/core.cache/wiki/Using" 
    [key fn] 
    (if (cache/has? @Cache key) 
    (get (swap! Cache #(cache/hit % key)) key) 
    (get (swap! Cache #(cache/miss % key (fn))) key)))