Я хотел понять, как улей знает, какой из Hadoop NameNode находится в активном состоянии, и что происходит, когда активный NameNode терпит неудачуулей с Hadoop высокой доступности
ответ
Hive конфигурируется с помощью metatool
, чтобы указать на сконфигурированной dfs.nameservices
для HA HDFS , См. https://cwiki.apache.org/confluence/display/Hive/Hive+MetaTool. dfs.nameservices
- это логический адрес, в то время как фактические наменоводы настроены с dfs.ha.namenodes.[id]
.
Что касается режима Namenode, состояние сохраняется в Zookeeper. Когда активный namenode выходит из строя, восстановление после сбоя запускается после настроенного времени (по умолчанию 5 секунд, ha.zookeeper.session-timeout.ms
). Требуется сценарий фехтования и активирует режим ожидания в режиме ожидания.
В hdfs URL-адрес имени узла HA должен быть логическим именем (например, hdfs: // logicalnamenode). Нам нужно настроить улей для работы с HA. Для этого вам нужно изменить конфигурацию узла имени улья с помощью команды metatool.
- Список текущей конфигурации NN
~ # metatool -listFSRoot
HDFS: // NameNode: 8020/пользователь/улей/склад - Следующая команда обновит старую конфигурацию NN с логическим именем
metatool -updateLocation HDFS: // logicalnamenode HDFS: // NameNode: 8020 -tablePropKey avro.schema.url
- 1. Спарк обеспечения высокой доступности
- 2. настроить улей с Hadoop
- 3. Как достичь высокой доступности?
- 4. архитектура для высокой доступности
- 5. о MySQL высокой доступности
- 6. Как функция высокой доступности HDFS Hadoop влияет на теорему CAP?
- 7. Уровень доступности библиотеки высокой доступности для .NET
- 8. Поддерживает ли Presto конфигурацию высокой доступности HDP2?
- 9. Примеры наличия высокой доступности Redmine
- 10. Требования к высокой доступности AppFabric
- 11. Redis дозорного высокой доступности HAProxy
- 12. Группы высокой доступности и сбой
- 13. Настройка высокой доступности на Azure
- 14. postgresql 9.4 топология высокой доступности
- 15. Кластеризация высокой доступности в netbsd
- 16. SAP-адаптер приема высокой доступности
- 17. CakePHP Настройка фермы высокой доступности
- 18. Hadoop/Улей обновление производительности
- 19. Оптимизация Hadoop и улей
- 20. Весеннее облако с консулом для высокой доступности
- 21. RabbitMQ высокой доступности с Spring AMQP
- 22. Сонар: решения репликации/высокой доступности или кластеризации
- 23. Hadoop улей UDF терпит неудачу
- 24. Установка воздушного потока для высокой доступности
- 25. Fluentd настройка высокой доступности и дублирует
- 26. Параметры настроек Shards/Replicas для высокой доступности
- 27. Любые шаблоны для высокой доступности службы Windows?
- 28. Как добиться высокой доступности экземпляра в openstack
- 29. Основной запрос высокой доступности AWS EC2 SQL
- 30. Выбор данных в Hadoop с Улей