Работает ли Samza с ResourceManager в HA?

Question

У кого-нибудь есть Samza, работающий с менеджером ресурсов в HA? Если да, то что я устанавливаю yarn.resourcemanager.hostname в yarn-site.xml?

Если я установил его в первый из моих RM, то подача задания будет работать нормально, если я отправлю задание из этого RM, а RM будет активным. Если машина RM, на которой я запускаю задание, не активна, я получаю сообщение об отказе в подключении к порту 8032.

Answer 1

Да, у нас есть samza, работающий с RM в режиме HA. В принципе, гарантировать, что yarn-site.xml имеет определенные ниже свойства. Это гарантирует, что подача задания будет пытаться подключиться к другому RM, если первый не удастся.

<property> 
     <name>yarn.resourcemanager.hostname</name> 
     <value>yarn_resource_manager_hostname</value> 
    </property> 
    <property> 
     <name>yarn.resourcemanager.ha.enabled</name> 
     <value>true</value> 
    </property> 
    <property> 
     <name>yarn.resourcemanager.cluster-id</name> 
     <value>yarn_cluster_id</value> 
    </property> 
    <property> 
     <name>yarn.resourcemanager.ha.rm-ids</name> 
     <value>rm1,rm2</value> 
    </property> 
    <property> 
     <name>yarn.resourcemanager.hostname.rm1</name> 
     <value>yarn_resource_manager_hostname</value> 
    </property> 
    <property> 
     <name>yarn.resourcemanager.hostname.rm2</name> 
     <value>yarn_resource_manager2_hostname</value> 
    </property> 
    <property> 
     <name>yarn.resourcemanager.address.rm1</name> 
     <value>yarn_resource_manager_hostname:8032</value> 
    </property> 
    <property> 
     <name>yarn.resourcemanager.address.rm2</name> 
     <value>yarn_resource_manager2_hostname:8032</value> 
    </property>