Пояснения портов Hadoop

Question

Я изучаю hadoop и немного путают порты по умолчанию и местоположения.

Когда я нахожу URL-адрес: localhost: 50070 дает результат для hdfs-информации. В нижеследующих документах описаны некоторые из упомянутых портов.

HDFS-default.xml

dfs.datanode.http.address 0.0.0.0:50075 
dfs.datanode.address  0.0.0.0:50010 
dfs.namenode.http-address 0.0.0.0:50070 
dfs.namenode.backup.http-address 0.0.0.0:50105 

mapred-default.xml

mapreduce.jobtracker.http.address 0.0.0.0:50030 
mapreduce.tasktracker.http.address 0.0.0.0:50060 

пряжи default.xml

yarn.resourcemanager.address  ${yarn.resourcemanager.hostname}:8032 
yarn.resourcemanager.webapp.address ${yarn.resourcemanager.hostname}:8088 

Теперь при настройке Hadoop 2 в моей машине я сделал: $ кд/USR/местные/Hadoop/и т.д./Hadoop $ VI ядро-site.xml

<property> 
    <name>fs.default.name</name> 
    <value>hdfs://localhost:9000</value> 
</property> 

Вопрос: Есть так много портов, упомянутых в значение по умолчанию и другое xml в документах ....

1) localhost: 50070 возвращает только значения полной информации (hdfs health), а что касается других портов. Другие просто не возвращают никакой информации?

2) in yarn-default.xml оба являются портами диспетчера ресурсов, один из них - порт webapp. только когда я нахожусь в localhost: 8088 в браузере, он дает информацию о кластере (единственный узел в этом случае). Тогда что такое порт 8083? В примере кода я вижу 8083 - это порт RM. Мне непонятно. Может кто-то объяснить, пожалуйста,

3) Я изменил порт hdfs на 9000, это стандарт?

4) Как видит, appmaster JobTracker, TaskTracker порты

5) Я думал, что в пряже Hadoop 2 нет JobTracker и TaskTracker то какова цель этих портов?

Я имею кошмар с этими основными вопросами ...

Спасибо, Amit

Answer 1

Amit, есть много портов, за которыми следят Hadoop, а также есть много Hadoop демонов. Каждый из них контролирует определенные порты (которые вы можете переопределить) по определенным причинам. В документации перечислены порты и их цели. Например, YARN, менеджер ресурсов в Hadoop 2, имеет порт, который он контролирует для подачи задания, yarn.resourcemanager.address. Вы можете переопределить этот порт (не) в conf/yarn-site.xml. Он также использует порт, yarn.resourcemanager.webapp.address, для своего пользовательского интерфейса, а другой - файл yarn.resourcemanager.admin.address для административных команд. Аналогично, HDFS контролирует 50070 как свой веб-адрес и возвращает информацию о файловой системе. В целом, неплохо оставить одни порты, так как люди узнают известные номера портов и ожидают их (вы не ожидаете, что по умолчанию будут перенесены telnet или ftp). Помните, что пряжа и MR могут работать в одном кластере. В некоторых дистрибутивах есть оба.

Answer 2

Hadoop предоставляет веб-интерфейс, чтобы заглянуть в кластер hadoop. Они помогают понять статус кластера, данные о задании (работа, неудача) и т. Д. Через браузер.Это большое облегчение, так как мы не хотим помнить все команды для них и пытаться с терминала. Вы уже указали на некоторые важные порты, необходимые для них (это порты по умолчанию, и вы можете их изменить, играя в файлах конфигурации).

Теперь я отвечу на ваши вопросы один за другим. Я предполагаю, что hadoop находится в режиме псевдо-просмотра на core-site.xml.

1) localhost: 50070 возвращает только значения полной информации (hdfs health), а что касается других портов. Другие просто не возвращают никакой информации?

Я объясню это с предоставленной вами информацией, чтобы избежать путаницы.

Остальные порты также используются для соединения с браузером, например, localhost: 50075 для просмотра данных datanode, localhost: 8088 для просмотра текущих рабочих заданий, завершенных и т. Д. Свойства, которые не имеют таких данных, как http-address, webapp.address, используются для Inter Process Communication (IPC). Примерами для этих портов являются 8032, 50010 и т. Д.

2) in yarn-default.xml оба являются портами диспетчера ресурсов, один из них является портом webapp. только когда я нахожусь в localhost: 8088 в браузере, он дает информацию о кластере (единственный узел в этом случае). Тогда что такое порт 8083? В примере кода я вижу 8083 - это порт RM. Мне непонятно. Может кто-нибудь объяснить, пожалуйста,

Надеюсь, я прояснил это сомнение в приведенном выше ответе.

3) Я изменил порт hdfs на 9000, это стандарт?

Номер порта по умолчанию - 8020. Вы можете сохранить его. Но я не знаю, является ли установка его 9000 стандартом. Я видел это у некоторых поставщиков, предоставленных hadoop, кроме apache.

4) Как увидеть appmaster, JobTracker, TaskTracker порты

Я на самом деле не мог понять ваш вопрос. Если один вы собираетесь спросить, о WebUI, мы уже рассматривали его в ответе вопроса 1.

5) Я думал в пряже Hadoop 2 нет JobTracker и TaskTracker то какова цель этих порты?

По моему пониманию YARN - это слой, который появился между mapreduce и hadoop для лучшего управления ресурсами и рабочими местами. Таким образом, это означает, что процессы worktracker и tasktracker все еще присутствуют (в фоновом режиме) и используются при необходимости при помощи диспетчера ресурсов и nodemanager.

Кто-то может исправить меня, если я где-то ошибся.

Спасибо и рассматривает, Бибин

Answer 3

При использовании Hadoop 2.6.5, три главных порта вы ищете являются:

• 8088 Кластер Метрики
• 50070 HDFS/DataNode здоровья

В вашем Vagrantfile, открыть эти три порта История сервера для переадресация портов:

config.vm.network "forwarded_port", guest: 8088, host: 8088 
config.vm.network "forwarded_port", guest: 19888, host: 19888 
config.vm.network "forwarded_port", guest: 50070, host: 50070 

Другие порты являются внутренними службами для обслуживания портов и не должны быть r equire любая модификация. Вам необходимо будет выполнить команду: vagrant reload --provision, чтобы активировать эти порты.

Кроме того, вам нужно будет изменить значение «localhost» в hadoop-2.6.5/etc/hadoop/yarn-site.xml, чтобы сказать 0.0.0.0, в отличие от localhost, чтобы сделать работу с портфолио 8088. Убедитесь, что ваши dfs, пряжа и службы истории тоже начали работать.