Из документации по чтению вокруг YARN я не смог найти релевантную информацию о HA менеджера ресурсов, менеджера узлов и мастера приложений в YARN. Являются ли они единственной точкой неудач? Если да, то какой-нибудь план улучшить?Высокая доступность диспетчера ресурсов, диспетчера узлов и мастера приложений в YARN
Кластер YARN состоит из потенциально большого количества машин («узлы»). Чтобы быть частью кластера, каждый узел запускает хотя бы один сервисный демон. Тип демона службы определяет задачу, которую этот узел играет в кластере.
Практически все узлы используют сервисный сервисный центр «node manager», что делает их «регулярными» узлами YARN. Менеджер узла заботится о выполнении определенной части задания YARN на этой самой машине, в то время как другие части выполняются на других узлах. Имеет смысл запускать диспетчер одиночных узлов на каждом узле. Для кластера YARN с 1000 узлами, вероятно, работает около 999 менеджеров узлов. Поэтому узловые менеджеры действительно избыточно распределены в кластере. Если один менеджер узла терпит неудачу, другие назначаются для выполнения своих задач.
Каждое задание YARN является собственным приложением, и для задания на одном из узлов запускается специальный мастер-мастер. Для другого приложения другой хозяин приложения запускается на другом узле. Фактическая работа приложения выполняется даже на других узлах кластера. Мастер приложения контролирует общее выполнение приложения. Если мастер приложения умирает, все приложение потерпело неудачу, но другие приложения будут продолжены. Неисправное приложение необходимо перезапустить.
Демон-менеджер ресурсов работает на одном выделенном узле YARN, которому заданы только начальные приложения (путем запуска соответствующего мастера приложений), со сбором информации обо всех узлах кластера и назначением вычислительных ресурсов приложениям. В настоящее время диспетчер ресурсов не собирается быть HA, но это обычно не проблема. Если диспетчер ресурсов умирает, все приложения необходимо перезапустить.
На сегодняшний день пряжа поддерживает диспетчер ресурсов высокой доступности. Это приводит к избыточности в виде пары Active/Standby RM для удаления единственной точки отказа. Для более глубокого понимания вы можете ознакомиться с этой статьей из Cloudera.
«Если менеджер ресурсов умирает, все приложения должны быть перезапущен.» Это означает, что менеджеры ресурсов (RM) действительно являются единственными точками сбоев (по просьбе OP). Как же тогда это не будет проблемой нормально? Каждую секунду RM не работает, поэтому, кажется, все приложения запускались только на локальном компьютере? Если да, раздадут ли они, как только RM вернется в онлайн? – alex