Я хотел бы спросить, что является лучшим способом сохранить мой кластер безопасности и запланировать периодическое резервное копирование. Можно ли выполнить резервное копирование namenode в реальном времени? Как настроить резервный узел?Резервное копирование Hadoop HDFS
Вы можете настроить вторичный namenode, который будет автоматически выполнять резервное копирование namenode. В случае отказа наменования вы можете использовать вторичный наменодай для восстановления метаданных namenode.
Вы также можете настроить HA (высокая доступность) в своем кластере, так что, если namenode опустится, кластер автоматически переключится на альтернативный namenode, созданный во время HA. Узнайте больше о HA здесь: http://hadoop.apache.org/docs/r2.3.0/hadoop-yarn/hadoop-yarn-site/HDFSHighAvailabilityWithNFS.html
@amar предоставил решение, чтобы убедиться, что ваш кластер очень доступен. Кроме того, вы должны подумать о том, как лучше всего защитить данные в кластере Hadoop от ошибок пользователя, логической коррупции, бедствий, и есть разные способы сделать это. Вы можете писать сценарии, которые используют снимки HDFS и distcp, чтобы выполнить то, что вам нужно. Если вы не хотите писать и поддерживать сценарии, вы можете использовать такие решения, как Cloudera BDR или Talena, которые предлагают очень полные возможности резервного копирования и DR. Заметьте, что я работаю для Талены.
Это, кажется, вопрос служебного администрирования, а не вопрос программирования. Возможно, вам повезло с вопросом о ServerFault. (Но прочитайте их рекомендации относительно того, что делает хороший вопрос перед публикацией, вам почти наверняка придется расширить свой вопрос и дать некоторое представление о масштабе, частоте чтения и записи на вашем кластере и т. Д.). –