Мне нужно кэшировать партии (несколько ТВ) файлов объемом до 50 МБ каждый. Поскольку память слишком дорога, а Memcached не поддерживает эти размеры, я ищу решение на основе LRU, которое сохраняет свои данные на жестком диске и способно масштабироваться горизонтально с точки зрения размера и объема кэша.Мембранный эквивалент жесткого диска
Есть ли такое программное обеспечение?
Будет ли что-то вроде лакового кэш-памяти с файлом storage_file слишком упрощенным?
Если вам нужно больше масштабируемой, довольно простой в настройке распределенной файловой системы, я использовал MogileFS (http://danga.com/mogilefs/) с очень хорошими результатами.
AFAIK вы можете создать кластер лаков, но добавление большего количества серверов не означает, что общая емкость хранилища увеличивается, поскольку каждый сервер лаков имеет свой собственный кеш. Мне нужно большое (10TB +) жесткое хранилище LRU, которое я могу расширить, добавив больше серверов. –
Да, вы можете решить это с помощью лака и балансировки нагрузки, но что-то вроде MogileFS (обновленный ответ выше) больше похоже на то, что вам нужно, чтобы упростить администрирование. –
Что вы действительно просите - это распределенная файловая система, я думаю, так как вам не нужно ничего кэшировать - это не динамические данные.
Вы можете подумать над этим. http://learnmongo.com/posts/getting-started-with-mongodb-gridfs/
Или это: http://hadoop.apache.org/common/docs/current/hdfs_user_guide.html
как эти файлы генерируются? –
Загруженные пользователем видео. Они хранятся на одном сервере и не очень масштабируемы. Я хочу добавить уровень кэширования для всех серверов. –