YARN Ошибка JobHistory: Ошибка перенаправления для контейнера

Question

Недавно мы развернули YARN с CDH 5 (2.3.0-cdh5.1.3), кластер работает с файлом, выполняются задания. Но мы не в состоянии получить доступ к журналы из менеджера ресурсов UI, если работа завершена (УСПЕШНО/FAILED), мы получаем следующие ошибки

Failed redirect for container_1412716537481_0322_01_000001 
Failed while trying to construct the redirect url to the log server. Log Server url may not be configured 
Container does not exist. 

Кроме того, некоторые исключения для запущенных заданий:

Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=mapred, ac 
cess=READ, inode="/user/history/done_intermediate/xyz/job_1412716537481_0426-1412782860181-xyz-PigLatin%3ACategory+li 
ft+for+pixels%3A9259-1412782882528-1-1-SUCCEEDED-root.brianfemiano-1412782867082.jhit":xyz:supergroup:-rwxrwx--- 
     at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkFsPermission(FSPermissionChecker.java:271) 
     at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:257) 
     at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:185) 
     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:5607) 
     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:5589) 
     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPathAccess(FSNamesystem.java:5551) 
     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocationsUpdateTimes(FSNamesystem.java:1717) 
     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocationsInt(FSNamesystem.java:1669) 
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocationsUpdateTimes(FSNamesystem.java:1717)   [1804/1922] 
     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocationsInt(FSNamesystem.java:1669) 
     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocations(FSNamesystem.java:1649) 
     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocations(FSNamesystem.java:1621) 
     at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.getBlockLocations(NameNodeRpcServer.java:482) 
     at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.getBlockLocations(ClientNamenodeProtocolServe 
rSideTranslatorPB.java:322) 

Что соответствующие разрешения для hdfs: // user/history /?

любой, имеющий такую ​​же проблему?

Answer 1

Я думаю, что ваш кластер защищен (с поддержкой Kerberos) и для аутентификации HTTP в защищенном env вам необходимо установить следующие параметры. не смотрите http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.6.0/ds_Hadoop/hadoop-project-dist/hadoop-common/HttpAuthentication.html

-Arun voma