ошибка при чтении/записи (Hadoop)

Question

Я следовал this учебник для установки hadoop. Ну, все работает нормально, если я использую \ usr \ local \ hadoop как hasoop.tmp.dir. так как у меня очень мало места в этом разделе, я попытался установить это значение в/NEW_partition/(ext4), но я всегда получал некоторую java-ошибку. Я предполагаю, что это потому, что hadoop не может записать этот раздел. Как я могу заставить его работать?

:::: EDIT :::: полное исполнение результат.

hadoop@FreeLnx:/usr/local/hadoop-0.20.203.0$ bin/hadoop jar hadoop-examples-0.20.203.0.jar wordcount /MY_STORAGE/tmp1/gutnb /MY_STORAGE/tmp1/gutnbou 


12/02/12 02:56:00 INFO input.FileInputFormat: Total input paths to process : 3 

12/02/12 02:56:00 INFO mapred.JobClient: Running job: job_201202120255_0001 

12/02/12 02:56:01 INFO mapred.JobClient: map 0% reduce 0% 

12/02/12 02:56:09 INFO mapred.JobClient: Task Id : attempt_201202120255_0001_m_000004_0, Status : FAILED 

java.lang.Throwable: Child Error 
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271) 

Caused by: java.io.IOException: Task process exit with nonzero status of 126. 
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258) 


12/02/12 02:56:09 WARN mapred.JobClient: Error reading task outputhttp://FreeLnx:50060/tasklog?plaintext=true&attemptid=attempt_201202120255_0001_m_000004_0&filter=stdout 

12/02/12 02:56:09 WARN mapred.JobClient: Error reading task outputhttp://FreeLnx:50060/tasklog?plaintext=true&attemptid=attempt_201202120255_0001_m_000004_0&filter=stderr 

12/02/12 02:56:15 INFO mapred.JobClient: Task Id : attempt_201202120255_0001_m_000004_1, Status : FAILED 

java.lang.Throwable: Child Error 
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271) 

Caused by: java.io.IOException: Task process exit with nonzero status of 126. 
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258) 


12/02/12 02:56:15 WARN mapred.JobClient: Error reading task outputhttp://FreeLnx:50060/tasklog?plaintext=true&attemptid=attempt_201202120255_0001_m_000004_1&filter=stdout 

12/02/12 02:56:15 WARN mapred.JobClient: Error reading task outputhttp://FreeLnx:50060/tasklog?plaintext=true&attemptid=attempt_201202120255_0001_m_000004_1&filter=stderr 

12/02/12 02:56:21 INFO mapred.JobClient: Task Id : attempt_201202120255_0001_m_000004_2, Status : FAILED 

java.lang.Throwable: Child Error 
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271) 

Caused by: java.io.IOException: Task process exit with nonzero status of 126. 
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258) 


12/02/12 02:56:21 WARN mapred.JobClient: Error reading task outputhttp://FreeLnx:50060/tasklog?plaintext=true&attemptid=attempt_201202120255_0001_m_000004_2&filter=stdout 

12/02/12 02:56:21 WARN mapred.JobClient: Error reading task outputhttp://FreeLnx:50060/tasklog?plaintext=true&attemptid=attempt_201202120255_0001_m_000004_2&filter=stderr 

12/02/12 02:56:33 INFO mapred.JobClient: Task Id : attempt_201202120255_0001_m_000003_0, Status : FAILED 

java.lang.Throwable: Child Error 
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271) 

Caused by: java.io.IOException: Task process exit with nonzero status of 126. 
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258) 


12/02/12 02:56:33 WARN mapred.JobClient: Error reading task outputhttp://FreeLnx:50060/tasklog?plaintext=true&attemptid=attempt_201202120255_0001_m_000003_0&filter=stdout 

12/02/12 02:56:33 WARN mapred.JobClient: Error reading task outputhttp://FreeLnx:50060/tasklog?plaintext=true&attemptid=attempt_201202120255_0001_m_000003_0&filter=stderr 

12/02/12 02:56:39 INFO mapred.JobClient: Task Id : attempt_201202120255_0001_m_000003_1, Status : FAILED 

java.lang.Throwable: Child Error 
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271) 

Caused by: java.io.IOException: Task process exit with nonzero status of 126. 
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258) 


12/02/12 02:56:39 WARN mapred.JobClient: Error reading task outputhttp://FreeLnx:50060/tasklog?plaintext=true&attemptid=attempt_201202120255_0001_m_000003_1&filter=stdout 

12/02/12 02:56:39 WARN mapred.JobClient: Error reading task outputhttp://FreeLnx:50060/tasklog?plaintext=true&attemptid=attempt_201202120255_0001_m_000003_1&filter=stderr 

12/02/12 02:56:45 INFO mapred.JobClient: Task Id : attempt_201202120255_0001_m_000003_2, Status : FAILED 

java.lang.Throwable: Child Error 
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271) 

Caused by: java.io.IOException: Task process exit with nonzero status of 126. 
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258) 


12/02/12 02:56:45 WARN mapred.JobClient: Error reading task outputhttp://FreeLnx:50060/tasklog?plaintext=true&attemptid=attempt_201202120255_0001_m_000003_2&filter=stdout 

12/02/12 02:56:45 WARN mapred.JobClient: Error reading task outputhttp://FreeLnx:50060/tasklog?plaintext=true&attemptid=attempt_201202120255_0001_m_000003_2&filter=stderr 

12/02/12 02:56:51 INFO mapred.JobClient: Job complete: job_201202120255_0001 

12/02/12 02:56:51 INFO mapred.JobClient: Counters: 4 

12/02/12 02:56:51 INFO mapred.JobClient: Job Counters 

12/02/12 02:56:51 INFO mapred.JobClient:  SLOTS_MILLIS_MAPS=24115 

12/02/12 02:56:51 INFO mapred.JobClient:  Total time spent by all reduces waiting after reserving slots (ms)=0 

12/02/12 02:56:51 INFO mapred.JobClient:  Total time spent by all maps waiting after reserving slots (ms)=0 

12/02/12 02:56:51 INFO mapred.JobClient:  SLOTS_MILLIS_REDUCES=0 

Answer 1

Вы, вероятно, необходимо проверить права доступа для сконфигурированных mapred.local.dir каталогов, по умолчанию которого составляет $ {hadoop.tmp.dir}/mapred/местный. Родительский каталог и все содержимое должны принадлежать пользователю, который запускает демон TaskTracker, чтобы задачи могли эффективно записывать временные данные (и делать что-то другое).