У меня есть один узел кластера, из которого я получил журналы и дал вход TraceBuilder, и он работает. Я сгруппировал 5 узлов кластера под стойку по умолчанию и получил журналы. Здесь следы задания и топологии генерируются должным образом.Создание трассировки задания и топологии из папки истории многоузлового кластера с использованием Rumen
Я установил 5 кластеров узлов, каждый из которых отображен на разные стойки.
У меня есть hasoop-0.20.2, установленный на моем Eclipse Helios. Итак, я побежал Tracebuilder с помощью
Главный класс: org.apache.hadoop.tools.rumen.TraceBuilder Я провел несколько рабочих мест на кластере и использовать копию/USR/местные/Hadoop/журналы/истории папку мастер-узла как вход в TraceBuilder. Аргументы: /home/arun/job.json /home/arun/topology.json/дома/Ubuntu/Документы/TestLog
Но я получаю
11/12/16 12:02:37 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
11/12/16 12:02:38 WARN rumen.TraceBuilder: TraceBuilder got an error while processing the [possibly virtual] file master_1324011575958_job_201112161029_0001_hduser_word+count within Path file:/home/ubuntu/Documents/testlog/master_1324011575958_job_201112161029_0001_hduser_word+count
java.lang.NullPointerException
at org.apache.hadoop.tools.rumen.JobBuilder.processTaskAttemptFinishedEvent(JobBuilder.java:492)
at org.apache.hadoop.tools.rumen.JobBuilder.process(JobBuilder.java:149)
at org.apache.hadoop.tools.rumen.TraceBuilder.processJobHistory(TraceBuilder.java:310)
at org.apache.hadoop.tools.rumen.TraceBuilder.run(TraceBuilder.java:264)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:69)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:83)
at org.apache.hadoop.tools.rumen.TraceBuilder.main(TraceBuilder.java:142)
.....................
Он генерирует задание файл трассировки JSon но поля как имя хоста и местоположение «нуль» в нем и топология файла трассировки JSON не имеет информации 5 узла и, как это:
{
"name" : "<root>",
"children" : [ ]
}
Может кто-нибудь помочь мне?
Спасибо, Arun