Передача значения переменной свинок от одного действия к другому действию в Oozie

Question

Мой oozie рабочий фрагмент кода выглядит следующим образом:

<workflow-app name="Abandonment_Workflow" xmlns="uri:oozie:workflow:0.5"> 
    <start to="pig-0581"/> 
    <kill name="Kill"> 
     <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message> 
    </kill> 
    <action name="pig-0581"> 
     <pig> 
      <job-tracker>${jobTracker}</job-tracker> 
      <name-node>${nameNode}</name-node> 
      <script>/user/793972/TRM/1.pig</script> 
       <param>input=/data/*/*.bz2</param> 
      <archive>/user/a.jar#a.jar</archive> 
     </pig> 
     <ok to="fork-3d77"/> 
     <error to="Kill"/> 
    </action> 
    <action name="pig-a915"> 
     <pig> 
      <job-tracker>${jobTracker}</job-tracker> 
      <name-node>${nameNode}</name-node> 
      <script>/user/793972/TRM/2.pig</script> 
       <param>input=/data/*/*.bz2</param> 
      <archive>/user/a.jar#a.jar</archive> 
      </pig> 
      <ok to="join-31be"/> 
     <error to="Kill"/> 
    </action> 
    ....... 
    <end name="End"/> 
</workflow-app> 

В свиноводстве сценарии 1.pig

data = LOAD $input USING PigStorage('\t') AS 
(timestamp:chararray,server:chararray,sessionid:chararray); 

В свиноводстве сценария 2.pig, Я хочу использовать переменную -'data»в 1.pig,

cleandata = данные Foreach генерировать .....

Является ли это это можно сделать.

Если да, то, пожалуйста, подсказывают, как

Answer 1

Я думаю, что вы не можете достичь этого в поросенка. Когда скрипты свиньи выполняются, компилятор преобразует команды латинских свиней в одно или несколько заданий MR, и они будут выполняться независимо. Поэтому два скрипта свиньи не могут общаться друг с другом.

Однако есть что-то, что вы можете попробовать - это макросы Pig.

--LoadInput.macro 
DEFINE loadInput(input) returns data{ 
$data = LOAD '$input' USING PigStorage('\t') AS 
     (timestamp:chararray,server:chararray,sessionid:chararray); 
} 

Pig Сценарий 1

IMPORT '/path/LoadInput.macro'; 
data = loadInput($input); 
cleandata = FOREACH data GENERATE timestamp, sessionid; 

Pig Сценарий 2

IMPORT '/path/LoadInput.macro'; 
data2 = loadInput($input); 
cleandata2 = FOREACH data2 GENERATE timestamp, server;