Получение ошибки при отправке запроса HIVE через oozie

Question

Я совершенно новичок в oozie, и я создаю рабочий процесс для запуска запроса куста, чтобы просто отображать данные таблицы из улья с помощью оператора select, но как только я отправляю задание, ниже ошибки.

JA017: Неизвестная работа hadoop [job_local1866275230_0001], связанная с действием [0000000-150519212325700-oozie-oozi-W @ adstest]. Несоблюдение этого действия!

Ниже мой улей-site.xml

<?xml version="1.0"?> 
 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
 

 
<configuration> 
 
    <property> 
 
    <name>javax.jdo.option.ConnectionURL</name> 
 
    <value>jdbc:mysql://localhost:3306/metastore</value> 
 
    </property> 
 
    <property> 
 
    <name>javax.jdo.option.ConnectionDriverName</name> 
 
    <value>com.mysql.jdbc.Driver</value> 
 
    </property> 
 
    <property> 
 
    <name>javax.jdo.option.ConnectionUserName</name> 
 
    <value>hiveuser</value> 
 
    </property> 
 
    <property> 
 
    <name>javax.jdo.option.ConnectionPassword</name> 
 
    <value>password</value> 
 
    </property> 
 
    <property> 
 
    <name>datanucleus.autoCreateSchema</name> 
 
    <value>false</value> 
 
    </property> 
 
    <property> 
 
    <name>datanucleus.fixedDatastore</name> 
 
    <value>true</value> 
 
    </property> 
 
    <property> 
 
    <name>datanucleus.autoStartMechanism</name> 
 
    <value>SchemaTable</value> 
 
    </property> 
 
    <property> 
 
    <name>hive.metastore.uris</name> 
 
    <value>thrift://localhost.localdomain:9083</value> 
 
    </property> 
 
    <property> 
 
    <name>hive.support.concurrency</name> 
 
    <value>true</value> 
 
    </property> 
 
    <property> 
 
    <name>hive.zookeeper.quorum</name> 
 
    <value>localhost</value> 
 
    </property> 
 

 
    <!-- workaround for https://issues.cloudera.org/browse/IMPALA-1416 --> 
 
    <property> 
 
    <name>hive.metastore.try.direct.sql</name> 
 
    <value>false</value> 
 
    </property> 
 
    <property> 
 
    <name>hive.metastore.try.direct.sql.ddl</name> 
 
    <value>false</value> 
 
    </property>

Ниже workflow.xml

<workflow-app name="adstest" xmlns="uri:oozie:workflow:0.4"> 
 
    <start to="adstest"/> 
 
    <action name="adstest"> 
 
     <hive xmlns="uri:oozie:hive-action:0.2"> 
 
      <job-tracker>${jobTracker}</job-tracker> 
 
      <name-node>${nameNode}</name-node> 
 
       <job-xml>hive-conf.xml</job-xml> 
 
      <script>adstest.hql</script> 
 
      <file>hive-conf.xml#hive-conf.xml</file> 
 
     </hive> 
 
     <ok to="end"/> 
 
     <error to="kill"/> 
 
    </action> 
 
    <kill name="kill"> 
 
     <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message> 
 
    </kill> 
 
    <end name="end"/> 
 
</workflow-app>

Я не выбрал ни одного параметра в качестве своего простого запроса выбора для отображения первых 20 результатов из таблицы.

Дайте мне знать, если мне нужно сделать какие-либо изменения в любом файле conf.

Answer 1

Когда рабочий процесс Oozie выполняется, Oozie проверяет состояние задания, и во время выполнения задания Oozie сообщит о статусе как запуске, однако после завершения задания он запрашивает данные с сервера истории, и если идентификатор задания не найти на сервере истории, Oozie не может получить статус и помечен статус рабочего процесса как сбой.

Однако рабочий процесс может завершиться успешно, и выход будет доступен. Менеджер ресурсов также сообщит о статусе приложения, выполненного как FINISHED/SUCCEEDED.

1. Убедитесь, что приведенные ниже параметры 2 одинаковы во всех узлах:

   mapreduce.jobhistory.intermediate-сделано-Dir

   mapreduce.jobhistory.done-Dir

2. Перезагрузка YARN и сервер истории. Для получения дополнительной информации см. Эту ссылку. https://support.pivotal.io/hc/en-us/articles/202530283-Oozie-logs-report-Unknown-hadoop-job-and-history-server-UI-not-populated