Настройка Pseudo Distributed/Single Node Setup Apache Hadoop 2.2

Question

Я установил Apache Hadoop 2.2 как единый кластер узлов. Когда я пытаюсь выполнить пример giraph, он заканчивается ошибкой «LocalJobRunner, вы не можете работать в режиме split master/worker, так как одновременно есть только одна задача».

Я проходил через форумы, и я обнаружил, что могу обновить mapred-site.xml, чтобы иметь 4 картографа. Я пробовал это, но все равно не помогал. Я столкнулся, еще один форум: я могу изменить настройку одного узла, чтобы вести себя как псевдораспределенный режим, и он решил проблему.

Может кто-нибудь, пожалуйста, дайте мне знать, какие конфигурационные файлы мне нужно изменить, чтобы настроить установку одного узла как псевдораспределенный режим.

Answer 1

Добавление renZzz ответа, Вы должны также проверить, что если вы можете SSH на локальном хосте без ключевой фразы:

$ ssh localhost 

Если вы не можете SSH на локальный без ключевой фразы, выполните следующие команды:

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 

Следующая ссылка может помочь вы- https://hadoop.apache.org/docs/current2/hadoop-project-dist/hadoop-common/SingleNodeSetup.html

Answer 2

для моей первой установки, я последовал за некоторые инструкции, но, несомненно, одним из лучших вариантов для одного кивка e setup, был pdf Apache Hadoop YARN_sample. I recommond you to use this manual шаг за шагом

Answer 3

Во-первых, убедитесь, что число работников равно единице. Затем вам нужно настроить Giraph не разделять рабочие и мастера через:

giraph.SplitMasterWorker=false 

Вы можете установить его в giraph-site.xml или передать через командную опцию линии:

-ca giraph.SplitMasterWorker=false 

Ref: https://www.mail-archive.com/user@giraph.apache.org/msg01631.html