SecondaryNamenode и MapReduce рабочих мест

Question

может быть, глупый вопрос ... но все равно ...

Как я понимаю, что вторичный NameNode делает что-то (я имею в виду это работает), я должен настроить его, чтобы сделать что-то?

Кроме того, задания в MapReduce запускаются параллельно по умолчанию, я имею в виду, что вы программируете в MR всегда параллельно?

Я задал эти вопросы, потому что у меня есть доказательство (у меня есть проект), чтобы задания на хаосе выполнялись параллельно.

Спасибо вам заранее.

P.S: Извините за мой плохой английский, и надеюсь, что я был понятен.

Answer 1

Yon, когда вы настраиваете Hadoop, вы помещаете hostname некоторых машин в /conf/masters. Здесь будет запущен ваш SNN. Вы можете пойти на терминал этой машины и выпустить JPS. Это покажет вам всю обработку java, выполняемую в настоящее время. Вы должны иметь возможность видеть SecondaryNameNode вместе с другими процессами. Что-то вроде этого:

apache@hadoop:~$ jps 
21615 TaskTracker 
21268 SecondaryNameNode 
21014 DataNode 
27656 HRegionServer 
21362 JobTracker 
19908 org.eclipse.equinox.launcher_1.3.0.v20120522-1813.jar 
17643 Jps 
27364 HMaster 
28451 Main 
27194 HQuorumPeer 
29811 RunJar 
20744 NameNode 

Чтобы перекреститься, вы можете изменить это на другую машину и увидеть эффект. В качестве альтернативы вы можете проверить его через порт SNN, который по умолчанию равен 50090. Имеет ли это смысл?

И когда вы выполняете задание MR, вы можете открыть mapreduce webUI, указав веб-браузер на jobtracker_machine:50030. Здесь вы можете просмотреть список всех выполняемых вами заданий (или которые вы запустили ранее) вместе с общим количеством карт/редукторов, созданных для конкретной работы. Вы можете щелкнуть по заданию, и он покажет вам все карты и редукторы, работающие в настоящее время на вашем кластере. Вы можете увидеть прогресс каждого картографа/редуктора там. Все эти картографы/редукторы работают параллельно на разных машинах. Чтобы убедиться, что вы можете щелкнуть по каждому картографу, он покажет вам машину, на которой работает этот конкретный манипулятор/редуктор, и% завершения каждого модуля/редуктора.

НТН