Я пытаюсь найти команду, которую я могу использовать, чтобы перечислить все неудавшиеся задания. «hasoop job -list» перечисляет все задания. Есть ли способ фильтровать список по статусу?Как отфильтровать все неудачные задания Hadoop?
В Hadoop Невозможно получить полный список неудавшихся заданий в одной команде. hadoop job -list перечисляет только те задания, которые еще запущены. Единственный способ получить статус задания и отчет с помощью следующей команды
bin/hadoop job -history <HDFS-OUTPUT-DIR-PATH>
, что бросит все детали, которые включают в себя статус потерпеть неудачу, и в которых он получил задание не удался.
JobName: mapsidejjoin
JobConf: hdfs://localhost:50000/tmp/hadoop-thanga/mapred/staging/thanga/.staging/job_201601251423_0001/job.xml
Submitted At: 25-Jan-2016 14:26:05
Launched At: 25-Jan-2016 14:26:05 (0sec)
Finished At: 25-Jan-2016 14:26:24 (19sec)
Status: SUCCESS
Task Summary
============================
Kind Total Successful Failed Killed StartTime FinishTime
Setup 1 1 0 0 25-Jan-2016 14:26:06 25-Jan-2016 14:26:08 (2sec)
Map 1 1 0 0 25-Jan-2016 14:26:08 25-Jan-2016 14:26:11 (2sec)
Reduce 1 1 0 0 25-Jan-2016 14:26:11 25-Jan-2016 14:26:21 (9sec)
Cleanup 1 1 0 0 25-Jan-2016 14:26:21 25-Jan-2016 14:26:24 (2sec)
============================