Сомнения относительно исполнения Pagerank

Question

Я пытаюсь выполнить код ниже: http://blog.xebia.com/2011/09/27/wiki-pagerank-with-hadoop/

Javac не показывает никаких ошибок, но я не знаю, как получить выход? Это следующие шаги выполнения:

$ javac -Xlint -classpath /home/james/Downloads/hadoop-0.20.203.0/hadoop-core-0.20.203.0.jar -d doc WikiPageRanking.java 
$ jar -cvf WikiPageRanking.jar -C doc/ . 
$ bin/hadoop dfs -mkdir /user/james/wiki/in 
$ bin/hadoop dfs -copyFromLocal wiki-micro.txt /user/james/wiki/in 
$ bin/hadoop jar WikiPageRanking.jar org.myorg.WikiPageRanking /user/james/wiki/in /user/james/wiki/result 

Это право? Я серьезно сомневаюсь в последнем шаге - пути ввода и вывода! В коде они использовали wiki/in, поэтому я дал один и тот же путь здесь, и я скопировал свой образец данных на этот путь. Процесс сокращения карты начинается, но я не получаю выход!

Answer 1

Что следующие команды дают вам:

hadoop fs -ls /user/james/wiki/result 

hadoop fs -text /user/james/wiki/result/part* 

Выполнение задания не будет автоматически сбрасывать результаты работы на консоли - они чаще всего хранится в HDFS (в вашем случае в пути/пользователь/Джеймсе/вики/результат). Вы можете просмотреть содержимое этого каталога с помощью первой команды и предположить, что есть некоторые файлы *, вторая команда будет выгружать их содержимое на диск

Конечная точка для заметок - если выходной формат - это SequenceFileOutputFormat, и вы используя пользовательские объекты ключа/значения, вам необходимо внести изменения во вторую команду, чтобы включить свою банку:

hadoop fs -libjars WikiPageRanking.jar -text /user/james/wiki/result/part*