Ошибка при использовании Hadoop MapReduce в Eclipse

Question

Когда я выполнил MapReduce program in Eclipse using Hadoop, я получил следующую ошибку.
Это должно быть какое-то изменение в пути, но я не могу понять это.
Любая идея?

16:35:39 INFO mapred.JobClient: Task Id : attempt_201001151609_0001_m_000006_0, Status : FAILED 
java.io.FileNotFoundException: File C:/tmp/hadoop-Shwe/mapred/local/taskTracker/jobcache/job_201001151609_0001/attempt_201001151609_0001_m_000006_0/work/tmp does not exist. 
    at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:361) 
    at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245) 
    at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:519) 
    at org.apache.hadoop.mapred.Child.main(Child.java:155) 

Answer 1

Учитывая сообщение об ошибке ([...]6_0/work/tmp does not exist), первые вопросы, чтобы проверить, являются:

• право доступа под c:\tmp
• шаги инициализации для this plugin Для корректной работы: см this thread

Экстракт:

Если вы установили его правильно, вы сможете запустить перспективу MapReduce и отображение карты/Уменьшить. Оба они находятся под Window > Open Perspective и Show View соответственно.

• Нажмите на синий слон в правом верхнем углу окна Map/Reduce. Появится окно конфигурации.
• Введите любое имя для названия местоположения. Я просто назвал его локальным кластером.
• Задайте номера портов для Map/Reduce Master и DFS Master. Посмотрите в своем conf/hadoop-site.xml для «mapred.job.tracker» и «dfs.default.name» соответственно. Если нет в этом файле, то он, вероятно, находится в hadoop-default.xml или hadoop-env.xml.
• Нажмите вкладку «Advanced Parameters» и установите параметр «mapred.job.tracker». По какой-то причине он не изменяется автоматически, когда вы меняете его на вкладке «Общие».
• Имя пользователя должно быть тем, кто владеет хаопом. Для меня это только мой логин, другие делают отдельного пользователя «hadoop» для hadoop.
• Если вы все сделали правильно, вы можете щелкнуть треугольники слева, чтобы просмотреть представление иерархии.

Answer 2

проверка ядро-site.xml и HDFS-site.xml, чтобы увидеть, где их адрес. оба из них должны быть hdfs: // localhost: [port] или file: ///

Answer 3

Обычно, если вы используете cdh 5, cloudera quickstart VM, то это 8021 и 8020 соответственно, если вы не выполните дополнительную конфигурацию.