Действие oozie не работает в fork join

Question

Я пытаюсь запустить два действия параллельно, используя fork join in oozie. Вот мой рабочий процесс:

<workflow-app xmlns="uri:oozie:workflow:0.1" name="hive-wf"> 
    <start to="forking"/> 
    <fork name="forking"> 
     <path start="hive-node"/> 
     <path start="hive-node2"/> 
    </fork> 
    <action name="hive-node"> 
     <hive xmlns="uri:oozie:hive-action:0.2"> 
      <job-tracker>Jobtracker</job-tracker> 
      <name-node>namenode</name-node> 
      <job-xml>hive-site.xml</job-xml> 
      <configuration> 
       <property> 
        <name>mapred.job.queue.name</name> 
        <value>default</value> 
       </property> 
      </configuration> 
      <script>HiveForOozie.hql</script> 
     </hive> 
     <ok to="joining"/> 
     <error to="fail"/> 
    </action> 
     <action name="hive-node2"> 
     <hive xmlns="uri:oozie:hive-action:0.2"> 
       <job-tracker>Jobtracker</job-tracker> 
       <name-node>namenode</name-node> 
       <job-xml>hive-site.xml</job-xml> 
       <configuration> 
        <property> 
         <name>mapred.job.queue.name</name> 
         <value>default</value> 
        </property> 
       </configuration> 
       <script>Hive2.hql</script> 
     </hive> 
     <ok to="joining"/> 
     <error to="fail"/> 
    </action> 
    <join name="joining" to="end"/> 
    <kill name="fail"> 
     <message>Hive failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message> 
    </kill> 
    <end name="end"/> 
</workflow-app> 

Второе действие улей убивают из-за: - JA018 орг/апач/Zookeeper/KeeperException $ NoNodeException

Но когда я бегу это действие в качестве индивидуального задания он может пройти.

Любая помощь будет оценена по достоинству.

Answer 1

Можете ли вы попробовать установить этот набор hive.support.concurrency = false в обоих ваших запросах и попробовать. Эта ошибка возникает, когда вы пытаетесь получить блокировку на основе Zookeeper на таблицах из oozie. Рабочие задания будут выполняться параллельно даже после установки этого свойства, но функция блокировки стола не будет использоваться.

Для получения более подробной информации, пожалуйста, обратитесь к этому link.