Как выбрать список каталогов в конфигурации hadoop?

Question

Я загрузил сценарий companion files для настройки конфигурации hadoop. Он содержит /scripts/directories.sh файл следующего блока:

# Space separated list of directories where NameNode will store file system image. For example, /grid/hadoop/hdfs/nn /grid1/hadoop/hdfs/nn 
DFS_NAME_DIR="TODO-LIST-OF-NAMENODE-DIRS"; 

# Space separated list of directories where DataNodes will store the blocks. For example, /grid/hadoop/hdfs/dn /grid1/hadoop/hdfs/dn /grid2/hadoop/hdfs/dn 
DFS_DATA_DIR="TODO-LIST-OF-DATA-DIRS"; 

# Space separated list of directories where SecondaryNameNode will store checkpoint image. For example, /grid/hadoop/hdfs/snn /grid1/hadoop/hdfs/snn /grid2/hadoop/hdfs/snn 
FS_CHECKPOINT_DIR="TODO-LIST-OF-SECONDARY-NAMENODE-DIRS"; 

Что они подразумевают под «списком каталогов»? Насколько я понимаю, список shpuld - это каталоги с разных жестких дисков, и если я использую только один диск (например, для тестирования), достаточно создать и установить только один. Я ошибаюсь?

Answer 1

Как правило, в Hadoop принцип работы с большим количеством дисков, например, дает более одного диска в NameNode, позволяет NameNode реплицировать свои метаданные на несколько дисков - поэтому NameNode может пережить сбой на одном диске, аналогично предоставить больше дисков для DataNode позволит DataNode разбивать и записывать данные в циклическом режиме на все диски для лучшей пропускной способности. Аналогично, все демоны используют рычаги из нескольких дисков, если они предусмотрены.

Как я понимаю, список shpuld представлять собой каталоги из различных HDD

И да рекомендуется монтировать каждый из вашего отдельного диска в отдельный каталог, в противном случае вы предоставляете несколько каталогов и все каталоги создаются на том же физическом диске, тогда несколько демонах/потоках будут узкими местами на дисковых вводах-выводах.

и если я использую только один диск (для целей тестирования, например) достаточно, чтобы создать и установить только один

Да, для целей тестирования будет достаточно, чтобы обеспечить единый каталог, монтируется на один физический диск или даже на ваш корневой раздел, если у вас достаточно места.