2016-01-25 3 views
0

Узел контрольной точки периодически получает fsimage и редактирует из NameNode и объединяет их. Полученное состояние называется контрольной точкой. После этого выгружает результат в NameNode.Разница между вторичным именемNode и узлом контрольной точки

Является ли узел контрольной точки в Hadoop версии 2.x? Если да, то нужен ли вторичный узел имени?

Также как узел узла контрольной точки работает, когда в Hadoop версии 2 есть несколько узлов имен?

Может ли кто-нибудь прояснить эти запутывающие понятия?

ответ

1

Посмотрите на этот вопрос SE для получения более подробной информации о ответственности каждого узла:

Hadoop 2.0 Name Node, Secondary Node and Checkpoint node for High Availability

Вам не нужно настроить дополнительное имя узла и Checkpoint узел в Hadoop 2.0

Вместо этого вам нужен узел Active Name и узел ожидания для высокой доступности согласно документации page

В типичном кластере HA две отдельные машины настроены как NameNodes. В любой момент времени точно одно из имен NameNodes находится в активном состоянии, а другое находится в состоянии ожидания.

Active NameNode отвечает за все клиентские операции в кластере, в то время как режим ожидания просто работает как подчиненный, поддерживая достаточное состояние, чтобы обеспечить быстрый переход на другой ресурс, если необходимо.

Для того, чтобы узел ожидания, чтобы сохранить свое состояние, синхронизированное с активным узлом, оба узла связывается с группой отдельных демонов под названием «JournalNodes» (JNS).

Когда какое-либо изменение пространства имен выполняется Активным узлом, оно долго регистрирует запись изменения для большинства этих JN. Резервный узел способен считывать изменения из JN и постоянно наблюдает за изменениями в журнале изменений.

Поскольку резервный узел видит изменения, он применяет их к собственному пространству имен. В случае перехода на другой ресурс резервный режим гарантирует, что он прочитал все изменения из JounalNodes, прежде чем продвинуться в активное состояние. Это гарантирует, что состояние пространства имен будет полностью синхронизировано до возникновения сбоя.

Чтобы обеспечить быстрый переход на другой ресурс, необходимо также, чтобы резервный узел имел актуальную информацию о расположении блоков в кластере. Для этого DataNodes сконфигурированы с указанием местоположения обоих NameNodes и отправкой информации о местоположении блока и битов в оба.

См примыкающие вопросы SE для более подробной информации:

How does Hadoop Namenode failover process works?

Смежные вопросы