Так как я использую Cloudera CDH4 VM в Pseudo-распределенном режиме. Мой вопрос в том, что в самом hdfs-кластере мы хотим установить hadoop в datanode? Можем ли мы увидеть разделение данных в драйвере данных, войдя в datanode ?.Операционная система в Datanode
Да, в реальной установке (1 активный namenode, много datanodes) hadoop должен быть установлен на каждом из узлов. CDH (и большинство других поставщиков) предоставляют программное обеспечение для помощи в распределенной установке.
Вы можете увидеть метаданные файлов (и вообще просматривать hdf) через webhdfs, включив webhdfs (установите свойство dfs.webhdfs.enabled в true в hdfs-site.xml и перезапустите hdf), направляя ваш браузер на localhost: 50070 , и просмотр в интересующий файл.
Файловые метаданные также могут быть запрограммированы программно в Java через API-интерфейс hasoop FileInputFormat. например, для разделов файлов, вы можете использовать getSplits(). Он вернет местоположение каждого фрагмента интересующего файла. Более прямым решением может быть использование API FileSystem, в частности FileSystem.listFiles(), который возвращает информацию о местоположении блока. Последнее может быть включено только в версии с версией hadoop 2.x, хотя я не уверен.