Невозможно открыть HDFS путь

Я пытаюсь открыть следующий путь в HDFS:Невозможно открыть HDFS путь

TwitterAgent.sinks.HDFS.hdfs.path = hdfs://localhost:9000/user/flume/tweets

Я открыл новый браузер, и я напечатал http://localhost:50070/dfshealth.html#tab-overview

Я получаю следующее сообщение об ошибке:

There are 2 missing blocks.

The following files may be corrupted:

blk_1073742237 /hbase/data/hbase/meta/1588230740/info/c5da7e591d294ae58968f4d0f2e8ffd9 blk_1073742231 /hbase/WALs/quickstart.cloudera,60020,1482726320014-splitting/quickstart.cloudera%2C60020%2C1482726320014..meta.1482726370496.meta

Он говорит, как найти возможное решение для этого, но есть ли упрощенный способ решения этой проблемы?

источник

2017-01-30 Joseph Desire

Какая служба работает на localhost: 50070? – halfer

2 блока файлов Hbase повреждены. Удаление их - самый простой вариант, чтобы вернуть HDFS к здоровой, если эти файлы не нужны. – franklinsijo

Спасибо, но как я могу их удалить? –

Это может быть полезно:

Проверьте поврежденные блоки с помощью команды:

hdfs fsck <path> -list-corruptfileblocks 
e.g. hdfs fsck /hbase -list-corruptfileblocks

Переместить поврежденные блоки/потеряли + найти с помощью:

hdfs fsck <path> -move 
e.g. hdfs fsck /hbase -move

или удалить поврежденные блоки с использованием:

hdfs fsck <path> -delete 
e.g. hdfs fsck /hbase -delete

Иногда вам будут предложены привилегии суперпользователя, и в этом случае добавьте sudo -u hdfs перед вашей командой, например. sudo -u hdfs hdfs fsck /hbase -list-corruptfileblocks

источник

2017-01-31 08:54:33 daemon12

Большое вам спасибо за вашу помощь, я могу удалить их. Но я все равно не получаю следующее: откройте браузер Mozilla на своей виртуальной машине и перейдите в/user/flume/tweets в HDFS. Это шаг 24 по этой ссылке: https://www.eduonix.com/blog/bigdata-and-hadoop/flume-installation-and-streaming-twitter-data-using-flume/ –

Неважно, если вы находитесь используя виртуальную машину или непосредственно машину, значение 24-го шага: Откройте браузер и введите URL как «http: // localhost: 50070/explorer.html». Затем перейдите в каталог 'user> flume> tweets' – daemon12

Порт в моем случае - 50070. В вашем случае это может быть другим. Проверьте это: http://stackoverflow.com/questions/22855232/default-namenode-port-of-hdfs-is-50070-but-i-have-come-across-at-some-places-802 – daemon12

Невозможно открыть HDFS путь

ответ

Смежные вопросы