как развернуть и запустить работу oozie?

Я пытаюсь сделать простую работу, используя oozie.
Это будет одна простая свинья.как развернуть и запустить работу oozie?

У меня есть файл: FirstScript.pig содержащий:

dual = LOAD 'default.dual' USING org.apache.hcatalog.pig.HCatLoader(); 
store dual into 'dummy_file.txt' using PigStorage();

и workflow.xml содержащий:

<workflow-app name="FirstWorkFlow" xmlns="uri:oozie:workflow:0.2"> 
    <start to="FirstJob"/> 
    <action name="FirstJob"> 
     <pig> 
      <job-tracker>hadoop:50300</job-tracker> 
      <name-node>hdfs://hadoop:8020</name-node> 
      <script>/FirstScript.pig</script> 
     </pig> 
     <ok to="okjob"/> 
     <error to="errorjob"/> 
    </action> 
    <ok name='okjob'>  
     <message>job OK, message[${wf:errorMessage()}]</message> 
    </ok>  
    <error name='errorjob'>  
     <message>job error, error message[${wf:errorMessage()}]</message> 
    </error>  
</workflow-app>

Я создал структуру:

FirstScript 
|- lib 
|---FirstScript.pig 
|- workflow.xml

И что Теперь? Как его развернуть и запустить с помощью oozie?
Может ли кто-нибудь более опытный помочь?

С уважением
Pawel

источник

2014-01-30 Pawel Kowalski

Я делаю это так:

hadoop fs -put workflow.xml some_dir/ 
oozie job --oozie http://your_host:11000/oozie -config cluster_conf.xml -run

и мой cluster_conf.xml выглядит следующим образом (пожалуйста, проверьте ваши порты первыми они зависят от Hadoop дистрибутива):

<?xml version="1.0" encoding="UTF-8" standalone="no"?> 
<configuration> 
<property> 
     <name>nameNode</name> 
     <value>hdfs://my_nn:8020</value> 
</property> 
<property> 
     <name>jobTracker</name> 
     <value>my_jt:8050</value> 
</property> 
<property> 
     <name>oozie.wf.application.path</name> 
     <value>/user/my_user/some_dir/workflow.xml</value> 
</property> 
</configuration>

источник

2014-01-30 15:17:36

Привет, Спасибо за ваш ответ. Еще два вопроса: должен ли этот файл cluster_conf.xml быть загружен в hdf? И второе: потому что я не выполнил установку, я не уверен в адресе моей установки oozie. Чего я могу найти? Я знаю, что конфигурация, требуемая для cluster_conf.xml, может быть найдена в core-site.xml и mapred-site.xml, но ничего не говорится о oozie ... –

Привет, я рад, что это помогло. Нет, вам не нужно копировать этот файл conf в hdf. И вы можете найти конфигурацию Oozie в ** oozie-site.xml **;) В моей установке она находится в **/etc/oozie/conf/oozie-site.xml **, просто найдите ** oozie.base.url ** имущество. –

Файл конфигурации должен указывать на job.properties вместо file.xml. Поскольку, job.properties содержит путь к workflow.xml

oozie job --oozie http://your_host:11000/oozie -config **/job.properties** -run

источник

2016-12-07 12:26:27

как развернуть и запустить работу oozie?

ответ

Смежные вопросы