конфигурация кластера и HDFS

Question

Im пытаясь настроить свой кластер, следуя этим учебное пособие -

https://developer.yahoo.com/hadoop/tutorial/module2.html 


<configuration> 
    <property> 
    <name>fs.default.name</name> 

    <value>hdfs://192.168.71.128:9000</value> 
    </property> 
    <property> 
    <name>dfs.data.dir</name> 

    <value>/home/hadoop-user/hdfs/data</value> 
    </property> 
    <property> 
    <name>dfs.name.dir</name> 

    <value>/home/hadoop-user/hdfs/name</value> 
    </property> 
</configuration> 

Я также скопировал локальный файл/пользователь/премов/используя команды ниже

hadoop-user@hadoop-desk:~/hadoop$ bin/hadoop dfs -put /home/hadoop-user/googlebooks-eng-all-1gram-20120701-0 /user/prema 
hadoop-user@hadoop-desk:~/hadoop$ bin/hadoop dfs -ls /user/prema 
Found 1 items 
-rw-r--r-- 1 hadoop-user supergroup 192403080 2014-11-19 02:43 /user/prema 

сейчас , Я смущен. У меня есть файлы данных здесь// prema, но узел данных в конфигурации кластера указывает на это - /home/hadoop-user/hdfs/data..Как это связано?

Answer 1

/user/prema - это папка в формате HDFS. Папка /home/hadoop-user/hdfs/data - это папка в обычной файловой системе.

Обычная папка файловой системы - это место, где HDFS сохраняет свои данные. Поэтому, когда вы читаете данные из HDFS, она фактически переходит в папку с обычной обычной файловой системой для чтения данных. Вам никогда не придется прикасаться к этим данным, поскольку его формат не очень удобен для пользователя - HDFS заботится о манипуляциях с данными для вас.