У нас очень большой файловый сервер (HTTP и/или FTP). Затем некоторые файлы используются примерно 5 системами. Например, система A будет использовать файлы A и B. Тогда система B будет использовать файлы A и C.Файловое серверное распределенное кэширование
Есть ли приложения, предпочтительно свободные или с открытым исходным кодом, которые могут кэшировать эти обычно используемые файлы внутри системы?
Я ищу альтернативы Squid. Благодарю.
Вы посмотрели Hadoop? Я не использовал его сам, но он, похоже, делает именно то, что вы хотите.
Если мы говорим о хранении файлов в 100-х мегабайтах, то Hadoop был бы моим рекомендуемым решением для решения этой проблемы. Но, согласно сообществу, Hadoop не очень подходит для файлов в kB или < 200-300MB.
Для таких случаев наиболее рекомендуется использовать HBase, построенный на Hadoop. Комбо обеспечивает одновременно высокую доступность и масштабируемость. Но, заявив, что настройка Hadoop может быть больше, чем может потребоваться, например. размер кластера разработки/тестирования составляет recommended, состоящий из 4 ~ 5 серверов, а минимальная рабочая среда - это 10+ серверов.
Эффективным альтернативом кэш-керам кальмаров является Varnish.
Просто из интереса, когда вы говорите «большой», вы имеете в виду много файлов? или вы имеете в виду много запросов? (или оба?) Как часто файлы меняются? – 2010-12-01 18:39:22