Лучшая распределенная файловая система для товарной фермы хранения linux

Question

У меня есть много запасных серверов intel linux, которые лежат вокруг (сотни) и хотят использовать их для распределенной файловой системы в среде веб-хостинга и совместного использования файлов. Это не для приложения HPC, поэтому высокая производительность не является критичной. Основным требованием является высокая доступность, если один сервер отключен, данные, хранящиеся на жестких дисках, все еще доступны из других узлов. Он должен работать через TCP/IP и предоставлять стандартные разрешения для файлов POSIX.

Я посмотрел на следующее:

• Luster (http://wiki.lustre.org/index.php?title=Main_Page): Приходит действительно близко, но он не обеспечивает избыточность данных на узле. Вы должны сделать данные HA с помощью RAID или DRBD. Поддерживается Sun и Open Source, поэтому он должен быть на некоторое время

• gfarm (http://datafarm.apgrid.org/): Похоже, что он обеспечивает избыточность, но за счет сложности и ремонтопригодности. Не так хорошо поддерживается как Люстер.

Есть ли у кого-нибудь опыт работы с этими или любыми другими системами, которые могут работать?

Answer 1

проверка также GlusterFS

Edit (август-2012):Ceph наконец готовится. В последнее время авторы создали Inktank, независимую компанию для продажи коммерческой поддержки. Согласно некоторым представлениям, монтируемая POSIX-совместимая файловая система является самым верхним слоем и еще не протестирована, но нижние слои используются в производстве уже некоторое время.

Интересная часть - это слой RADOS, который представляет собой хранилище на основе объектов, имеющее как «собственный» доступ через библиотеку librados (доступный для нескольких языков), так и API-интерфейс RESP, совместимый с Amazon S3. Любой из них делает его более чем достаточным для добавления массивного хранилища в веб-службу.

This video - хорошее описание философии, архитектуры, возможностей и текущего состояния.

Answer 2

Ceph выглядит многообещающим новшеством на арену. Сайт утверждает, что он еще не готов к производству.

Answer 3

Lustre работает для нас. Это не идеально, но это единственное, что мы пробовали, который не разбился о нагрузке. Мы по-прежнему получаем LBUGS время от времени, а работа с файловыми системами 100TB + никогда не бывает легкой, но система Luster работает и увеличивает производительность и доступность.

Answer 4

Gluster получает довольно много прессы на данный момент:

http://www.gluster.org/

Answer 5

Я много читал о распределенных файловых системах, и я думаю, что FhGFS является лучшим.

http://www.fhgfs.com/

Это стоит попробовать.Подробнее об этом по адресу:

http://www.fhgfs.com/wiki/

Answer 6

Если не кто-то заставляет вас использовать его, я бы также настоятельно рекомендую использовать что-нибудь другое, чем Luster. Из того, что я слышу от других, и то, что также давало мне кошмары в течение некоторого времени, является тот факт, что Люстер довольно легко ломается во всех ситуациях. И если только один клиент в системе ломается, он ставит себя в бесконечный do_nothing_loop режим, как правило, сохраняя какую-то важную глобальную блокировку, поэтому в следующий раз, когда другой клиент попытается получить доступ к одной и той же информации, он также будет зависать. Таким образом, вы часто завершаете перезагрузку всего кластера, и я думаю, это то, чего вы бы старались избегать нормально;)

Современные параллельные файловые системы, такие как FhGFS (http://www.fhgfs.com), являются более надежными здесь а также позволяют делать приятные вещи, такие как запуск серверных и клиентских компонентов на одних и тех же машинах (хотя встроенные функции HA все еще находятся в стадии разработки, как сказал мне кто-то из их команды, но их реализация будет довольно впечатляющей из того, что я вы слышали).

Answer 7

На мой взгляд, лучшей файловой системой для Linux является MooseFS, это совершенно новая, но у меня была возможность сравнить ее с Ceph и Luster, и я точно говорю, что MooseFS - лучшая.