Hadoop tasktracker не удалось запустить

Я новичок в hadoop. У меня есть локальный каталог dir и system dir, упомянутый в mapred config. Журнал ошибок говорит, что не может создать каталог, чтобы сбой запуска.Hadoop tasktracker не удалось запустить

[email protected]:/etc/hadoop/conf.apt_hyperspace# ls -l /hyperspace/dfs/ 
total 8 
drwxr-xr-x 2 mapred hadoop 4096 2013-05-24 16:25 mapred 
drwxr-xr-x 5 hdfs hadoop 4096 2013-05-24 15:45 nn

mapred-site.xml

<configuration> 

<property> 
<name>mapred.local.dir</name> 
<value>/hyperspace/dfs/mapred</value> 
</property> 

<property> 
<name>mapred.job.tracker</name> 
<value>SYS-01:9101</value> 
</property> 

<property> 
<name>mapred.system.dir</name> 
<value>hdfs://hyperspace/mapred</value> 
</property> 

</configuration>

Ошибка -

2013-05-24 16:25:54,964 INFO org.apache.hadoop.mapred.TaskTracker: STARTUP_MSG: 
/************************************************************ 
STARTUP_MSG: Starting TaskTracker 
STARTUP_MSG: host = SYS-01/10.15.21.42 
STARTUP_MSG: args = [] 
STARTUP_MSG: version = 0.20.2-cdh3u6 
STARTUP_MSG: build = file:///data/1/tmp/nightly_2013-03-20_11-32-44_3/hadoop-0.20-0.20.2+923.479-1~lucid -r efb405d2aa54039bdf39e0733cd0bb9423a1eb0a; compiled by 'root' on Wed Mar 20 13:10:08 PDT 2013 
************************************************************/ 
2013-05-24 16:25:55,084 INFO org.apache.hadoop.util.NativeCodeLoader: Loaded the native-hadoop library 
2013-05-24 16:25:55,384 INFO org.mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog 
2013-05-24 16:25:55,440 INFO org.apache.hadoop.http.HttpServer: Added global filtersafety (class=org.apache.hadoop.http.HttpServer$QuotingInputFilter) 
2013-05-24 16:25:55,460 WARN org.apache.hadoop.mapred.TaskTracker: TaskTracker local dir /hyperspace/dfs/mapred error can not create directory: /hyperspace/dfs/mapred, removing from local dirs 
2013-05-24 16:25:55,461 ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because org.apache.hadoop.util.DiskChecker$DiskErrorException: No mapred local directories are writable 
     at org.apache.hadoop.mapred.TaskTracker$LocalStorage.checkDirs(TaskTracker.java:265) 
     at org.apache.hadoop.mapred.TaskTracker.<init>(TaskTracker.java:1633) 
     at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:3940) 

2013-05-24 16:25:55,462 INFO org.apache.hadoop.mapred.TaskTracker: SHUTDOWN_MSG: 
/************************************************************ 
SHUTDOWN_MSG: Shutting down TaskTracker at SYS-01/10.195.241.242 
************************************************************/

источник

2013-05-24 Kapish M

Является ли это псевдокластером (единственным узлом)? –

@ChrisWhite - Это четырехкомпонентный кластер. –

И как вы начинаете услуги (вручную или через интерфейс менеджера cloudera)? –

-1

Вы проверили разрешение ДФС каталога. Я запускал тестовый экземпляр, и я исправил проблему, изменив разрешение на 777.

источник

2014-11-25 09:12:58 user3627034

Настройка разрешений на 777 в значительной степени гарантирована как ужасная идея, даже если она работает, потому что вы открываете себя для будущих проблем. – Flexo

Да, я знаю, что это была только платформа для тестирования, поэтому нет ничего похожего на будущие проблемы. Я предлагал только проверить разрешения. В моем случае это могли быть другие проблемы с разрешением, но для целей тестирования на этот раз мне было хорошо. – user3627034

Hadoop tasktracker не удалось запустить

ответ

Смежные вопросы