Pig oozie workflow не выполняет UDF

Question

Я пытаюсь выполнить скрипт свиней, содержащий UDF через Oozie, и сохраняет результат в таблицах postgress. Без сценария oozie отлично работает. С oozie сценарий выполняется успешно, но не генерирует необходимые данные в postgress.Logs показывать это предупреждение

2015-08-18 12: 05: 44,709 [основных] Предупреждать org.apache.pig.tools.pigstats.JobStats - не удалось найти выходной файл java.io.FileNotFoundException: Файл hdfs: //: 8020/user/oozie/word_cnt не существует.

Выполнение проб и ошибок. Я обнаружил, что если я помещаю заявления дампа после каждого «хранилища», данные сохраняются в postgress успешно.

Answer 1

Если не так, Workflow.xml кажется некорректным значением {jobTracker} {NameNode}.

Sammple Workflow.xml будет как

<action name="pigActionForData"> 
<pig> 
<job-tracker>${jobTracker}</job-tracker> 
<name-node>${nameNode}</name-node> 
<configuration> 
<property> 
<name>mapred.compress.map.output</name> 
<value>true</value> 
</property> 
<property> 
<name>oozie.launcher.mapred.job.queue.name</name> 
<value>default</value> 
</property> 
<property> 
<name>mapred.job.queue.name</name> 
<value>default</value> 
</property> 
</configuration> 
<script>PigScript.pig</script> 
<argument>-param</argument> 
<argument>PigInput=/HDFS/LOCATION/FOR/PIG/ONLY/REFERENCE</argument> 
</pig> 
<ok to="end"/> 
<error to="pigActionForDataFailed"/> 
</action> 
<kill name="pigActionForDataFailed"> 
<message>Pig Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message> 
</kill> 

Вы можете все directrly упомянуть

{JobTracker} = "jobtracker_ip: порт"

{NameNode} = "HDFS: // namenode_ip: port "