Объяснение файловой системы hadoop

Может ли кто-нибудь помочь мне понять концепцию хранения данных hadoop?Объяснение файловой системы hadoop

Как я понимаю, hasoop имеет дело с файлами fs и блоками данных, а пути fsimage и edit logs хранятся в hdfs-site.xml. Но как насчет блоков данных? Может ли кто-нибудь помочь мне в этом? Я немного запутался, когда dir/user и/tmp фактически присутствует в файловой системе.

Я использовал эту ссылку, чтобы создать единый узел Hadoop кластера: http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

источник

2014-02-15 user1476653

Файлы разбиты на блоки и хранящуюся в распределенной системе файлов Hadoop (HDFS). Для описания HDFS обратитесь к HDFS module Yahoo's Hadoop Tutorial. Каталоги, хранящиеся в HDFS, можно просмотреть, введя следующую команду в терминал: hadoop dfs -ls

источник

2014-02-15 02:50:56 LeonardBlunderbuss

эй leonard в первую очередь thnx много, и я просто хочу знать, где actaully файл хранится, я знаю, что они находятся в HDFS, но они должны присутствовать под/или я ошибаюсь? – user1476653

Если вы спрашиваете, доступны ли файлы HDFS за пределами Hadoop, ответ будет отрицательным. – LeonardBlunderbuss

Спасибо, леонард сейчас, я подставил его – user1476653

FSImage Namenode отслеживает, какой файл Datanode содержит файлы. В файле hdfs-site.xml в конфигурации 'dfs.data.dir' определяется, где datanode хранит базовые файлы в файловой системе. Это может быть список каталогов, разделенных запятыми (подумайте о нескольких дисках).

источник

2014-02-17 21:47:24

Объяснение файловой системы hadoop

ответ

Смежные вопросы