Hadoop предустановленный пример Jars

Question

Я только что успешно настроил Hadoop на своих локальных машинах. Я следую одному из примеров в популярной книге, которую я только что купил. Я пытаюсь получить список всех примеров, которые прилагаются к инсталляции. Я введите следующую команду, чтобы сделать это:

bin/hadoop jar hadoop-*-examples.jar 

После того, как я ввожу это я должен получить список примеров Hadoop правильно? Однако все, что я вижу, это сообщение об ошибке:

Not a valid JAR: /home/user/hadoop/hadoop-*-examples.jar 

Как решить эту проблему? Это просто вопрос с разрешением?

Answer 1

Это скорее всего проблема с конфигурацией или использование недопустимых путей к файлу.

Скорее всего, имя hadoop - * - examples.jar неверно, потому что в моей версии Hadoop (1.0.0) имя файла isoop-examples-1.0.0.jar.

Так я выполнить следующую команду, чтобы перечислить все примеры и он работает как шарм:

bin/hadoop jar hadoop-examples-*.jar 

An example program must be given as the first argument. 
Valid program names are: 
    aggregatewordcount: An Aggregate based map/reduce program that counts the words in the input files. 
    aggregatewordhist: An Aggregate based map/reduce program that computes the histogram of the words in the input files. 
    dbcount: An example job that count the pageview counts from a database. 
    grep: A map/reduce program that counts the matches of a regex in the input. 
    join: A job that effects a join over sorted, equally partitioned datasets 
    multifilewc: A job that counts words from several files. 
    pentomino: A map/reduce tile laying program to find solutions to pentomino problems. 
    pi: A map/reduce program that estimates Pi using monte-carlo method. 
    randomtextwriter: A map/reduce program that writes 10GB of random textual data per node. 
    randomwriter: A map/reduce program that writes 10GB of random data per node. 
    secondarysort: An example defining a secondary sort to the reduce. 
    sleep: A job that sleeps at each map and reduce task. 
    sort: A map/reduce program that sorts the data written by the random writer. 
    sudoku: A sudoku solver. 
    teragen: Generate data for the terasort 
    terasort: Run the terasort 
    teravalidate: Checking results of terasort 
    wordcount: A map/reduce program that counts the words in the input files. 

Кроме того, если я использую тот же шаблон имени файла, как вас я получил сообщение об ошибке:

bin/hadoop jar hadoop-*examples.jar 

Exception in thread "main" java.io.IOException: Error opening job jar: hadoop-*examples.jar 

НТН

Answer 2

Необходимо указать имя класса файла jar, который вы хотите использовать:

hadoop jar pathtojarfile classname arg1 arg2 .. 

Пример:

hadoop jar example.jar wordcount inputPath outputPath 

Answer 3

@Anup. Требуется полный/относительный путь к файлу jar.

В вашем случае это может быть /home/user/hadoop/share/hadoop-*-examples.jar

Полная команда из каталога Hadoop в может быть

/Главная/пользователь/Hadoop/бен/hadoop /home/user/hadoop/share/hadoop-*-examples.jar

(Я использовал абсолютные полные пути там, но вы можете использовать относительные пути).

Answer 4

вы найдете банку в $HADOOP_HOME/share/hadoop/mapreduce/hadoop-*-examples*.jar