Как найти различные фрагменты файла в HDFS

Question

Есть ли способ узнать, где у вас есть фрагменты файла, который я положил в Hdfs? Я имею в виду информацию о том, где хранятся фрагменты файлов в hdfs?

Answer 1

Вы можете использовать FSCK команду:

#> hadoop fsck /path/to/file -files -blocks -locations -racks 

Это списки для файла, блоки и связанные с ними метаданные:

• имя блока/ID
• длина блока
• блок репликация
• мест (datanodeIp: порт)
• стойки (префикс DataNode IP-адресов, с соответствующей стойки ид)

Например:

/user/chris/file1.txt 123 bytes, 1 block(s): OK 
0. blk_432678432632_3426532 len=123 repl=2 [/rack1/1.2.3.4:50010, /rack2/4.5.6.7:50010]