Работа с графикой никогда не заканчивается

Question

Я пытаюсь запустить пример SimpleShortestPathsComput, используя последний код Giraph и Hadoop 2.5.2. Моя командная строка выглядит так:

hadoop jar /home/prhodes/giraph/giraph-examples/target/giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.5.2-jar-with-dependencies.jar org.apache.giraph.GiraphRunner org.apache.giraph.examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /user/prhodes/input/tiny_graph.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /user/prhodes/giraph_output/shortestpaths -w 4 

И работа начинается с ОК. Но затем он начинает выводить такие сообщения, и это просто продолжается (по-видимому) навсегда, пока вы не ctrl + c.

15/03/11 02:54:31 INFO yarn.GiraphYarnClient: Giraph: 
org.apache.giraph.examples.SimpleShortestPathsComputation, Elapsed: 
305.43 secs 15/03/11 02:54:31 INFO yarn.GiraphYarnClient: appattempt_1426041786848_0002_000001, State: ACCEPTED, Containers 
used: 1 15/03/11 02:54:35 INFO yarn.GiraphYarnClient: Giraph: 
org.apache.giraph.examples.SimpleShortestPathsComputation, Elapsed: 
309.44 secs 15/03/11 02:54:35 INFO yarn.GiraphYarnClient: appattempt_1426041786848_0002_000001, State: ACCEPTED, Containers 
used: 1 15/03/11 02:54:39 INFO yarn.GiraphYarnClient: Giraph: 
org.apache.giraph.examples.SimpleShortestPathsComputation, Elapsed: 
313.45 secs 15/03/11 02:54:39 INFO yarn.GiraphYarnClient: appattempt_1426041786848_0002_000001, State: ACCEPTED, Containers 
used: 1 15/03/11 02:54:43 INFO yarn.GiraphYarnClient: Giraph: 
org.apache.giraph.examples.SimpleShortestPathsComputation, Elapsed: 
317.45 secs 15/03/11 02:54:43 INFO yarn.GiraphYarnClient: appattempt_1426041786848_0002_000001, State: ACCEPTED, Containers 
used: 1 ^C15/03/11 02:54:47 INFO yarn.GiraphYarnClient: Giraph: 
org.apache.giraph.examples.SimpleShortestPathsComputation, Elapsed: 
321.46 secs 15/03/11 02:54:47 INFO yarn.GiraphYarnClient: appattempt_1426041786848_0002_000001, State: ACCEPTED, Containers 
used: 1 

Любая идея, что здесь происходит?

Answer 1

Это оказалось экологической проблемой. Я пыталась выбрать вишню с портами в белый список в моей группе безопасности AWS и пропустила, что YARN использует некоторые порты для внутренней связи в кластере. Вместо того чтобы пытаться сортировать весь список, я просто добавил правило группы безопасности для «всего трафика», которое будет принято с 10.0.0.0/24. Это решило эту проблему.