DataNode автоматически перезапускается в кластере CDH5

Question

У нас установлен кластер с 6 подчиненными узлами. Я пытаюсь понять, как происходит репликация, когда умирает один из DataNode.

Я вошел в один из подчиненных и убил DataNode с помощью команды kill -9. Спустя некоторое время DataNode перезапускается автоматически, и HDFS возвращается в здоровый статус. Я проверяю это, потому что PID из DataNode изменился.

Я не вижу никакой документации по описанному выше поведению DataNode. Это функция Apache Hadoop или Cloudera CDH? Приветствуется любая ссылка на документацию.

Answer 1

Поскольку pid datanode был изменен, я не думаю, что это поведение datanode. Если вы управляете кластером с помощью Cloudera Manager, есть возможность перезапустить демон datanode, если он не работает (автоматический перезапуск процесса). Этот параметр будет установлен по умолчанию. Когда процесс datanode получает отказ или убит, в качестве параметра автоматического перезапуска установлен Cloudera Scm agent запустит демон datanode.

Для автоматического перезапуска: выберите службы HDFS -> перейдите в раздел Конфигурация -> Искать automatic restart.

Эта функция доступна и в выпуске CM 4.X.