Как подтвердить режим улей в CDH 4.2? - локальный или удаленный

Question

В моем кластере, который использует CDH 4.2, я вижу два разных файла hive-site.xml. 1. hive-site.xml файл, который находится в каталоге conf. 2. hive-site.xml файл, который я могу просматривать из WebUI CDH 4.2

Моя проблема заключается в том, что оба этих файла имеют различный контент в терминах режима работы в режиме улья. Файл hive-site.xml в каталоге conf отображает режим исполнения как «удаленный». Он имеет «ложь» в качестве значения параметра - hive.metastore.local и он также определяет параметр -> hive.metastore.uris, как -

thrift://<machine_name>:9083 

Но улей-site.xml файл, который я могу просматривать с помощью WebUI, отображает локальный режим как истинный и устанавливает следующие параметры.

<property> 
    <name>javax.jdo.option.ConnectionURL</name> 
    <value>jdbc:postgresql://<machine_name>:7432/hive</value> 
    </property> 
    <property> 
    <name>javax.jdo.option.ConnectionDriverName</name> 
    <value>org.postgresql.Driver</value> 
    </property> 

Я думаю, что он работает в локальном режиме, так как WebUI также утверждает, что улей metastore работает в улей процессе и прослушивает порт 9083. Кроме того, в конфигурации, hiveserver2 должен быть запущен на порту 10000 по по умолчанию, это не так.

Итак, у меня есть два запроса 1. Почему существуют два разных файла конфигурации XML? 2. Есть ли тест «лакмусовой бумаги», подтверждающий, что улей действительно работает в локальном режиме? Спасибо.

Answer 1

В соответствии с объяснением билета Jira Collapse hive.metastore.uris and hive.metastore.local, если установлено свойство hive.metastore.uris, которое в вашем случае, метафора улья будет работать в удаленном режиме. Если свойство hive.metastore.uris не установлено, то метадатель Hive будет работать в локальном режиме.

Вышеупомянутое также подразумевает, что свойство hive.metastore.local удалено с Hive 0.10, которое является версией в CDH4.

Answer 2

Определенно убедитесь, что у вас есть следующее в вашем hive-site.xml.

<property> 
    <name> hive.metastore.local</name> 
    <value>false</value> 
</property> 
<property> 
    <name> hive.metastore.uris</name> 
<value>thrift://<hive_metastore_server_host>:9083</value> 
</property> 

К вашему второму вопросу, хороший тест - запустить быстрый запрос на улей. Как только работа MR начнет вращаться, вы увидите, указывает ли она на JobTracker на вашем кластере или в локальном режиме.