Я смущен, где выделено hdfs/пользовательское пространство. Это не видно из файловой системы Linux. Но в hdfs есть каталог, называемый/user. Думаю, это из конфигурации? Создается ли он во всех узлах кластера?где hdfs/пользовательское пространство выделено в hdfs
% hadoop fs -mkdir books
% hadoop fs -ls .
Found 2 items
drwxr-xr-x - tom supergroup 0 2009-04-02 22:41 /user/tom/books
-rw-r--r-- 1 tom supergroup 118 2009-04-02 22:29 /user/tom/quangle.txt
Вы могли прочитать, что HDFS распределенная файловая система работает поверх файловой системы, как ext3,4, XFS и т.д. Если вы используете Linux Ls команды вы не сможете увидеть файлы. HDFS содержит две части метаданных HDFS (имя dir) и dir данных. Когда вы создаете каталог, запись будет добавлена в метаданные HDFS, которая является файлом (fsimage), то же самое находится в dh hds namenode. В случае файла в метаданные HDFS будет добавлена запись, а базовые данные будут храниться в разных подчиненных узлах, так как блоки и метаданные содержат указатель на эти блоки.
В HDFS метаданные централизованы, поскольку метаданные HDFS будут храниться только на сервере namenode (обычно один сервер, если на HA включены два сервера). В то время как базовые данные будут храниться как распределенные.
У вас есть возможность для просмотра содержимого fsimage (HDFS метаданные) файл, HDFS предоставляет утилиту OIV (автономный вид изображения), который можно использовать для просмотра содержимого fsimage файла
Usage : hdfs oiv -i Fsimage_File -o output_file
Где этот ext3,4 файловая система? Что будет видно правильно? – johnsam
Это родная файловая система linux, ничего от нее не получит, лучше попытаться найти файл fsimage и прочитать то же самое с помощью oiv, чтобы вы поняли, что такое файловая система? Он должен быть в каталоге, указанном в вашем файле hdfs-site.xml, как dfs.name.dir или dfs.namenode.name.dir. – sachin
dfs.namenode.name.dir - файл: /// dfs/nn в моем hdfs-site.xml. Таким образом, файловая система hdfs ограничена размером файловой системы, где находится/df/nn? Имеет ли/dfs/nn только метаданные? Где находятся данные на самом деле? Я не могу найти его из hdfs-site.xml. – johnsam