Я внес некоторые изменения в настройки HDFS в кластере EMR Amazon. Я хочу перезапустить namenode и datanode, чтобы изменения вступили в силу. Я не могу найти сценарии запуска и остановки, чтобы сделать это ни на namenode (master), ни на datanodes. Каким должен быть способ перезапуска кластера?Как перезапустить HDFS на Amazon EMR
Вам необходимо вручную перезапустить кластер. Это можно выполнить вручную или с помощью простого сценария оболочки.
1) Получить список имен хостов или IP-адреса всех узлов,
2) SSH в узел с помощью ключа
3) Перезапустите необходимую услугу.
Если вы умеете программировать, вы можете создать общую утилиту, которая получит список ipaddress всех узлов, соответствующих EMR, с помощью идентификатора кластера и выполнения перезапуска службы в отдельных узлах.
В противном случае, получить имя хоста или IPAddress всех узлов вручную и создать сценарий, как показано ниже, и выполнить из главного узла
sudo service hadoop-hdfs-namenode restart
ssh -i <key.pem> <hostname1> "sudo service hadoop-hdfs-datanode restart"
ssh -i <key.pem> <hostname2> "sudo service hadoop-hdfs-datanode restart"
ssh -i <key.pem> <hostname3> "sudo service hadoop-hdfs-datanode restart"
На EMR4, запустите следующий на главном хосте -
sudo /sbin/start hadoop-hdfs-namenode
ssh -i <key.pem> <slave-hostname1> "sudo /sbin/restart hadoop-hdfs-datanode"
ssh -i <key.pem> <slave-hostname2> "sudo /sbin/restart hadoop-hdfs-datanode"
ssh -i <key.pem> <slave-hostname3> "sudo /sbin/restart hadoop-hdfs-datanode"
С версией 4.x в EMR кажется, что службы namenode и datanode не работают под /etc/init.d и поэтому не могут быть запущены выше. –
На EMR 4: '' 'sudo restart hadoop-hdfs-namenode''' – Tony
@Tony sudo restart hasoop-hdfs-datanode не работает? Как перезапустить datanodes EMR4 – user3294904