Просьба разъяснений по некоторым концепциям HDFS

Question

Я не уверен, что эти вопросы принадлежат здесь. Если нет, то извиняюсь. Я читаю документ HDFS, и мне трудно понять несколько терминов. Пожалуйста, найдите мои вопросы ниже.

1) В соответствии с документом «пространство имен HDFS является иерархией файлов и каталогов. Файлы и каталоги представлены в NameNode inodes, которые записывают такие атрибуты, как разрешения, изменения и время доступа, пространство имен и дисковое пространство «. Что означает информация пространства имен в inode. Означает ли это полный путь к файлу? Потому что в предыдущем заявлении говорится: «Пространство имен HDFS - это иерархия файлов и каталогов».

2) В соответствии с документом «NameNode поддерживает дерево пространства имен и сопоставление файловых блоков с DataNodes (физическое местоположение файлов данных)». Оба дерева пространств имен и пространство имен одинаковы? Пожалуйста, обратитесь к пункту 1 об определении пространства имен. Как хранится информация о дереве пространств имен? Сохраняется ли она как часть inodes, где каждый индексный дескриптор также будет иметь указатель inode родителя?

3) В соответствии с документом «HDFS сохраняет все пространство имен в ОЗУ. Данные inode и список блоков, принадлежащих каждому файлу, содержат метаданные системы имен, называемой изображением». Имеет ли изображение также пространство имен?

4) Что такое идентификатор пространства имен? Используется ли для различения двух разных экземпляров файловой системы?

Спасибо,

Venkat

Answer 1

Что именно информация пространства имен означает в индексном дескрипторе. Означает ли это полный путь к файлу? Потому что, говорит, что предыдущее заявление «Пространство имен HDFS иерархия файлов и каталогов

Это означает, что вы можете просматривать файлы, как вы делаете в вашей системе (с помощью команды, как hadoop dfs -ls) вы увидите результаты, как: /user/hadoop/myFile.txt но физически этот файл распространяется на кластере в нескольких блоках в соответствии с вашим фактором репликации

ли как пространство имен дерево и пространством имен одинаковы? Пожалуйста, обратитесь к пункту 1 об определении пространства имен. Как это информация пространства имен дерева хранится ? Он хранится как часть inodes, где каждый индексный дескриптор также имеет указатель указателя родителя?

При копировании файла на HDFS с командами, как hadoop dfs -copyFrom local myfile.txt /user/hadoop/myfile.txt, файл расщепляется в соответствии со значением dfs.block.size (по умолчанию 64). Затем блоки распределяются по вашим datanodes (узлам, используемым для хранения). Наменоад держит карту всех блоков, чтобы проверить целостность данных при ее запуске (или с помощью таких команд, как hadoop fsck /).

Имеет ли изображение также пространство имен?

Для этого я не уверен, но я думаю, что пространство имен также находится в ОЗУ.

Что такое идентификатор пространства имен? Используется ли для различения двух разных экземпляров файловой системы?

Да, идентификатор пространства имен является всего лишь идентификатором, он обеспечивает согласованность данных данных.

Я надеюсь, что это поможет вам даже вдали от исчерпывающего объяснения.