Как выполнить Hadoop Задание, написанное на Java в среде Hadoop

У меня есть файлы классов, загруженные в файловую систему Hadoop. И также я загрузил входной файл в hdfs. Когда я запускаю файл класса с помощью команды hadoop в терминале, я получаю ошибку Class not found. т.д .: У меня есть содержание HDFS в WordCount.class WordCountMapper.class WordCOuntReducer.class SampleInpujt.txtКак выполнить Hadoop Задание, написанное на Java в среде Hadoop

Может кто-то один, поправьте меня, где я делаю wrong.Or это это может быть сделано в режиме реального времени.

источник

2014-02-18 LakshmiNarayana

Почему вы используете файл класса, который должен работать с файлом jar? – Jijo

А также файл 'Jar' должен находиться в локальной файловой системе, а не на HDFS, как я знаю. – Mehraban

Укажите, какую команду вы точно печатаете и каков путь к файлам в этой команде. – vefthym

Ниже приведена командная строка, которую мы используем для работы Java mapreduce на нашем 4-узловом кластере Hadoop-2.2.0 в день, и он отлично работает. Мы запускаем его из namenode, но любая машина в кластере должна работать нормально.

hadoop jar ~/..path../mr_orchestrate/target/mr-orchestrate-1.0.jar com.rr.ap.orchestrate.MROrchestrate /user/hduser/in/Sample_15Feb2014.txt /user/hduser/out/out15Feb2014

Возможно, вам понадобится опция -libjars, чтобы добавить другие пути к библиотеке.

источник

2014-02-18 17:47:57 Vishal

Как выполнить Hadoop Задание, написанное на Java в среде Hadoop

ответ

Смежные вопросы